一种面向被头戴式显示器遮挡面部的多模态多任务情绪识别方法

本发明公开了一种面向被头戴式显示器遮挡面部的多模态多任务情绪识别方法，首先，通过寻找关键帧并以关键帧寻找感兴趣区域，并在此基础上，进行面部遮挡，得到训练用视频序列，同时，使用感兴趣区域的脑电图信号和周围生理信号作为训练信号，这样得到训练数据；然后，构建多模态多任务情绪识别模型，采用五层3D卷积层构建的半脸编码模块提取视频序列的空间‑时间特征，采用双流Transformer结构和基于交互性的模态融合模块构建生理信号感知模块获得生理特征，以增强应用于生理信号的情绪识别操作，将半脸特征与生理特征连接，得到用于识别的情绪特征Fj发送到两个分类层CLV、CLA，分别预测情绪的效价和唤醒度。本发明增强微表情发生时的情绪识别，半脸和生理信号的融合达到了与全脸图像相当的情绪预测准确率，并具有准确识别复杂情绪状态的能力。