一种对比增强非同构模态融合的多模态情感分析方法

本发明提供了一种对比增强非同构模态融合的多模态情感分析方法，涉及情感分析技术领域，本发明通过将视觉模态特征和音频模态特征进行融合的方法，来弥补和文本模态之间信息密度的差异，本发明设计了联合对比学习，通过样本内的对比学习和内本间的对比学习，得到样本内的损失和样本间的损失，样本内的对比学习，旨在增强模态间一致性，样本间的对比学习，保障每种模态特征的独立性和独特性，以避免过度融合导致的信息丢失，由此，本发明兼顾模态间的互补性和差异性，并弥补视觉和音频模态与文本模态间信息密度的差异，提升情感分析模型的性能与泛化能力。