基于多模态情绪识别的心理干预方法、系统、设备及介质

本发明提出一种基于多模态情绪识别的心理干预方法、系统、设备及介质，该方法包括：分别对视频数据和语音数据进行预处理；对预处理后的视频数据的每一时间戳对应的帧图像进行情绪识别，得到每一时间戳对应的图像情绪识别结果；将预处理后的音频数据的每一时间戳对应的音频、第一任务提示词和第二任务提示词，输入到语音转录情感识别一体化模型中，得到每一时间戳对应的语音情绪识别结果；根据图像情绪识别结果和语音情绪识别结果，得到每一时间戳对应的最终情绪识别结果；根据每一时间戳对应的最终情绪识别结果，生成情感状态识别报告，以根据情感状态识别报告，对用户进行心理干预。本发明提高情绪识别的准确性，有效提高心理干预的准确性。