一种基于面部表情和人体姿态的情绪识别方法和装置

本发明公开了一种基于面部表情和人体姿态的情绪识别方法和装置，方法包括以下步骤：使用Dlib网络对面部表情图像进行检测得到人脸部分图像，使用VGG网络对人脸部分图像进行检测得到面部表情情绪识别结果；使用Yolo网络对人体姿态图像进行检测得到人体部分图像，使用AlphaPose网络对人体部分图像进行检测得到人体关键点信息，使用融合注意力机制的SE‑GCN网络对人体关键点信息进行检测得到人体姿态情绪识别结果；对面部表情和人体姿态情绪识别结果进行融合得到最终情绪识别结果。本发明对面部表情与人体姿态两种模态提取特征并进行特征融合实现了双模态的情绪识别，能有效提高情绪识别的准确率。