一种基于多模态情感识别的虚拟环境交互系统

本发明属于虚拟现实领域，具体公开了一种基于多模态情感识别的虚拟环境交互系统，包括：UGUI图像界面模块、人脸检测模块、语音内容显示模块、情感状态显示模块和虚拟人物模块；情感状态显示模块包括特征提取单元、特征融合单元、特征增强单元和情感预测单元，特征提取单元分别提取图像、语音和文本的单模态特征；特征融合单元将特征提取单元所提取的三种单模态特征进行多模态融合，输出多模态融合特征；特征增强单元用于增强多模态融合特征，输出新的特征表示；情感预测单元用于根据新的特征表示输出情感识别结果。本发明能够更好地完成情感化交互过程，增加虚拟环境交互系统的沉浸性和交互性，提高用户体验。本发明适用于虚拟环境交互。