摘要
本申请公开了一种多模态共情分析方法、系统、存储介质及电子设备,涉及情感分析处理技术领域,从多种来源的待处理多模态数据,如语言、视频、音频、情境信息、地理位置等信息中提取各个模态特征,由于不同模态的信息可能是模糊的、冗余的或冲突的,引入自适应混合模态学习方式,根据自适应混合模态学习方式和不同尺度的语言特征,生成目标语言特征,以及抑制不相关信息和抑制冲突信息的超模态表示的目标混合模态特征,通过目标语言特征和目标混合模态特征进行跨模态融合,由于跨模态融合为混合模态之间的互补关系被隐式推理的融合操作,融合操作实现了鲁棒和准确的情感预测,从而有效进行多模态情感分析,提高多模态共情情感分析的效果和准确性。