一种基于动态路由混合专家模型的多模态图文情感识别方法及系统

本发明公开了一种基于动态路由混合专家模型的多模态图文情感识别方法及系统，用于现有的多模态图文情感识别方法通常采用静态融合机制，导致模型识别效果不佳的技术问题。方法包括获取图像数据和文本数据，将图像数据和文本数据输入至预置多模态图文情感识别网络，预置多模态图文情感识别网络包括目标编码器、动态路由混合专家模型、情感分类器；通过目标编码器对图像数据和文本数据进行编码，输出图像全局特征和文本全局特征；对图像全局特征和文本全局特征进行多模态特征融合，生成图像文本融合特征；采用动态路由混合专家模型对图像文本融合特征进行动态专家计算，输出加权特征；将加权特征输入至情感分类器，生成目标多模态图文情感识别结果。