基于预训练模型和多任务学习的多模态情感识别方法及系统

本发明提供一种基于预训练模型和多任务学习的多模态情感识别方法，属于深度学习应用技术领域。具体的：采集多模态数据，并对原始数据进行预处理；基于自监督预训练模型，针对不同模态数据采用不同预训练模型结合CNN的方式，提取通用表示和局部抽象特征，构建混合特征提取网络；基于交叉注意力的Transformer，通过交叉注意力挖掘文本与语音的互补情感信息，通过自注意力Bi‑GRU进一步增强对关键特征的关注能力，构建基于双重注意力融合网络；基于特征提取与特征融合网络引入多任务学习策略，通过设计辅助任务帮助模型更好地处理跨模态信息，捕捉更多有用特征，得到多模态情感识别模型；解决了现有相关技术中情感识别分类准确率较低、鲁棒性较弱的问题。