基于专家模块与注意力重分配的情绪冲突缓解方法和系统

本发明涉及多模态学习技术领域，公开了一种基于专家模块与注意力重分配的情绪冲突缓解方法和系统。方法包括：在训练过程中，将多模态的令牌输入到大语言模型，在每个中间层中，通过多模态特定专家逐层增强模态表达：通过模态内路由将不同模态的令牌分配给对应的专家；通过模态间路由动态融合专家输出计算不同模态的令牌平均表示；在推理过程中：将多模态情绪样本输入大语言模型，在大语言模型的每个中间层中进行推理注意力重分配；将大语言模型的最后一层的输出经线性分类层映射，预测得到多模态情绪样本的情绪类别。本发明可以处理复杂的情感冲突场景，减轻多模态大语言模型的模态偏见，从而具备更加鲁棒的情感推理和识别效果。