基于知识蒸馏的多模态情绪识别方法及系统

本发明提供一种基于知识蒸馏的多模态情绪识别方法及系统。该方法包括：预训练阶段、知识蒸馏阶段、微调阶段和预测阶段；预训练阶段包括分别利用脑电图、心电图和面部表情数据对预设神经网络进行独立训练，得到三个独立的教师模型；知识蒸馏阶段包括通过知识蒸馏技术将教师模型学习到的表征迁移至学生模型；微调阶段包括利用少量标注的多模态数据对学生模型进行联合优化；预测阶段包括采用注意力机制动态融合多模态特征，并将融合特征输入分类器，得到情绪识别结果。本发明面向脑电、心电与面部表情三种模态，提升了模型对复杂情绪与状态变化的表征能力；引入知识蒸馏机制，降低了模型的复杂度，提升了其在实际应用中的部署可行性与运行效率。