基于非同质层次融合的多模态情感分析方法

本发明公开了一种基于非同质层次融合的多模态情感分析方法，包括S1，构建非同质层次融合网络模型，包括多模态词修正模块、Transformer聚合模块、交叉注意力融合模块和基于功能的注意力融合模块；S2，通过多模态词修正模块进行模态特征提取；S3，通过Transformer聚合模块执行视觉模态和语音模态的融合，得到视音融合模态；S4，通过交叉注意力融合模块执行文本模态与视音融合模态的融合；S5，通过基于功能的注意力融合模块动态调整每个模态表示中每个维度的权重；S6，通过回归分析计算来预测预测最终的情绪回归标签，解决了现有技术的情感语义信息融合方法中存在的语音、视觉和文本之间信息密度差异较大，多模态异构难度较高，效果较差的问题。