基于双流三维卷积神经网络的人体行为识别方法

本发明提出了一种基于双流三维卷积神经网络的人体行为识别方法，主要解决现有技术中单模态数据导致特征表示受限以及跨模态方法计算量高的问题。包括：1)构建多模态数据集；2)构建用于将三维卷积分解为时间和空间维度的可分离三维残差模块；3)构建用于学习特征图的相似性、对相似的特征图进行分组以及对分组的特征图进行聚合的动态相似帧聚合模块；4)利用步骤2)和3)中的模块构建骨架流网络和RGB流网络；5)在两种流网络之间引入特征融合模块，搭建双流三维卷积神经网络并训练；6)将行为视频输入到训练好的网络获取识别结果。本发明能够充分提取行为特征、减少信息冗余和噪声干扰，有效提高人体行为识别的准确度和性能。