一种基于标签信号指导的多模态情感识别方法

本发明公开了一种基于标签信号指导的多模态情感识别方法，构建包括特征提取模块、跨模态交互模块、标签增强模块、动态融合和分类模块的多模态情感识别模型。通过引入情感标签信号，与音频和文本特征进行有效交互，优化了情感特征的融合和提取。通过标签增强模块引导模态特征的表达，同时结合移动平均机制平滑标签信号的更新过程，使模型在情感类别的分类过程中更加稳定和精准。与此同时，本发明还提出了联合目标优化方法，通过结合归因预测一致性约束(APC)和交叉熵损失函数，强化了情感标签和多模态特征之间的一致性，从而进一步提高了情感识别的精度。