摘要
本公开涉及一种运动轨迹跟踪和动作识别的方法、模型构建方法及装置,上述方法包括:针对待分析视频的时序视频帧进行目标识别,得到运动主体识别区域;基于可变形卷积和注意力机制的第一预训练网络模型,对运动主体识别区域进行特征提取,得到表征运动主体位姿的视觉特征向量;基于运动连续性约束的第二预训练网络模型,对运动主体的关键点进行位置预测,得到用于表征运动主体关键点位置的姿态特征向量;将视觉特征向量和姿态特征向量进行跨模态特征融合,得到融合特征向量;基于第三预训练网络模型,对时序排布的融合特征向量进行时空依赖关系分析和动作分类处理,得到运动主体的动作识别结果。能提升动作识别的准确性和及时性,且具有鲁棒性。