一种模态缺失条件下融合语义信息的多尺度情感分析方法

一种模态缺失条件下融合语义信息的多尺度情感分析方法，首先构建多尺度情感分析模型，包括将含有缺失模态的多模态数据输入多尺度特征提取模块，通过MSCNN提取各模态的局部多尺度特征，将局部特征输入Transformer编码器提取全局多尺度特征，利用语义对齐网络对不同模态的特征进行对齐，减小模态间的语义差异，通过Transformer实现对缺失模态的特征重建，通过融合模块整合各模态特征，并基于融合结果完成情感分类；通过最小化总损失函数对多尺度情感分析模型的模型参数进行优化更新，即可通过训练后的模型进行多尺度情感分析。本发明在随机模态缺失的条件下，能够提升多尺度情感分析的准确率和语义一致性，并为多尺度情感分析提供了缺失模态重建。