多模态融合的对话情感计算方法及装置

本发明公开了一种多模态融合的对话情感计算方法及装置，包括：建立情绪调节参数数据库，以及以图谱的形式构建人物性格和情感状态转移的情绪调节策略模型，搭建融合上下文语境信息和认知评价模型的强化学习模型，和基于声学特征和深度特征寻优融合的语音情感识别模型，加权融合第一情感数据和第二情感数据，得到最终的当前话语的情感类别。本发明从情感产生机制的角度综合考虑对话上下文语境信息和认知评价的影响，利用强化学习算法建立对话情感计算模型；建立基于声学和深度特征寻优融合的语音情感识别模型；融合两个模型识别结果，充分挖掘从情感产生到呈现过程的情感相关因素，提高情感识别率。