基于脑启发的多模态数据驱动驾驶员情绪识别方法及系统

本发明公开了基于脑启发的多模态数据驱动驾驶员情绪识别方法及系统。通过构建的驾驶员面部视频特征提取网络、多源异构驾驶行为特征提取网络和多模态特征融合网络的脉冲神经网络类脑模型，分别对脉冲化处理后的面部视频数据、多源异构驾驶行为数据进行特征提取，并输出跨模态脉冲注意力特征融合结果，对驾驶员情绪进行识别。实验表明，本发明在准确率、实时性和鲁棒性方面显著优于现有方法，有效解决了单一模态识别准确性不足、面部视频和多源异构驾驶行为模态特征提取不充分和模态融合策略低效的问题。并且脉冲神经网络类脑显著加快了计算速度，增强了模型的抗干扰能力，为智能驾驶系统提供了高效的情绪识别解决方案。