基于多模态增强转换器和超图结构的人体骨骼行为识别方法

本发明提出了一种基于多模态增强转换器和超图结构的人体骨骼行为识别方法，包括：S1，获取表征人体行为识别的原始骨架数据。对骨架数据进行预处理，得到总计四种骨骼模态数据；S2，对四种骨骼模态数据先进行单模态的特征提取，再进行多模态的特征融合，形成统一的骨骼特征；S3，对所述统一模态的骨骼特征在时间和空间上进行特征精炼和三维动态特征加强；S4，将精炼好的骨骼特征通过全局平均池化层和全连接层得到行为识别的预测结果，结果为离散的动作分类标签。该方法通过构建轻量化的多模态转换器网络和双人超图拓扑结构，来增强多模态骨骼数据融合性能和捕捉关节组群之间的协同运动关系，从而提升了双人交互行为的识别准确率和识别效率。