基于视觉和语音语义融合的人员情绪分析方法和系统

本发明提供基于视觉和语音语义融合的人员情绪分析方法和系统，对人员进行多模式影像采集和预识别，得到最优影像集组合，识别得到人员的面部和肢体动作数据，得到人员的第一情绪状态表征信息，从人员的形态动作层面进行情绪表征；对人员进行语音采集和识别，得到人员在发出语音过程中的声学特征数据和语义内容数据，基于声学特征数据，得到人员的第二情绪状态表征信息，从人员的语音层面进行情绪表征；对第一情绪状态表征信息和第二情绪状态表征信息进行多模态融合分析，得到人员在整个采集过程的异常情绪存在状态信息，对人员进行风险评估，对人员情绪分析进行多维度和统一化的整合，降低了情绪分析的主观干扰性，提高人员行为风险评估的可信度。