基于领域泛化和图神经网络的多模态情感识别方法及系统

本发明公开了一种基于领域泛化和图神经网络的多模态情感识别方法及系统，涉及情感识别技术领域。本发明的技术要点包括：获取数据集，所述数据集包括三种模态数据：文本模态、语音模态和视觉模态；对三种模态数据进行特征提取，获取文本特征、语音特征和图像特征；将每个模态作为一个领域进行领域泛化，即将每个模态提取的特征分为两部分，一部分用来提取域内不变特征，一部分用来提取域间不变特征；利用图神经网络对域内不变特征和域间不变特征进行融合，以同时获取全局信息和局部上下文信息；将融合后的特征输入分类模型中进行训练；将待测数据输入训练好的分类模型中进行分类，获取情感识别结果。本发明提高了情感识别的性能和鲁棒性。