对话场景下的非接触式多模态解耦情绪识别方法和装置

本发明公开了对话场景下的非接触式多模态解耦情绪识别方法和装置，该方法包括：获取对话场景下多个模态的原始数据；用模态专用的编码器将原始数据编码为原始特征；利用共享特征投影器将原始特征投影得到投影特征并进行加权融合，得到共享特征；用模态专用的专家网络从原始特征中提取专属特征，并对专属特征进行加权融合，得到私有特征；通过交叉注意力融合模块将共享特征和私有特征进行融合，得到多模态融合特征；利用第一分类器对多模态融合特征进行分类，得到情绪识别结果。本发明解决了多模态情绪识别领域中模态特征异质性大、模态信息不一致、模态不平衡及缺失等关键问题，提升了对话场景下情绪识别的性能和鲁棒性。