基于知识引导和模态动态注意力融合的多模态情感分析方法
申请号:CN202411434784
申请日期:2024-10-15
公开号:CN119443227B
公开日期:2025-10-24
类型:发明专利
摘要
本发明涉及基于知识引导和模态动态注意力融合的多模态情感分析方法,包括:提取输入多模态数据的单模态特征;基于所述单模态特征,获取每个模态的知识增强表示;基于所述知识增强表示,预测单模态情感值,并将所述单模态情感值,转化为情感比值;将所述知识增强表示和所述情感比值进行预设的动态注意力处理,获取最终的多模态表示;基于所述最终的多模态表示,来预测情感分数。本发明通过动态选择主导模态并根据不同样本调整各模态的贡献,能够提高多模态情感分析方法的性能并使其适应更复杂、更广泛的场景。
技术关键词
情感分析方法
注意力
模态特征
动态
视觉
语义特征
融合特征
BERT模型
转换文本
多模态
多层感知机
变量
音频特征
样本
模块
参数