一种基于关系子图交互的多模态对话动态情感识别方法

本发明属于多模态情感识别和对话系统领域，涉及一种基于关系子图交互的多模态对话动态情感识别方法，包括：获取多模态对话数据集；将多模态对话数据集的数据输入模态特征提取器提取每个模态的特征，得到文本模态特征、听觉模态特征以及视觉模态特征；将听觉模态特征和视觉模态特征分别输入视听模态编码器，得到最终的听觉模态特征和视觉模态视觉特征；将文本模态特征输入关系子图交互模块，得到最终的文本模态特征；将最终的文本模态特征、听觉模态特征以及视觉模态特征均输入情感分类器，得到情感识别结果；本发明根据情感依赖关系将对话建模为说话者间情感依赖子图和说话者自身情感依赖子图，从而更好地捕捉和理解多元对话场景中的情感动态。