一种基于情感识别的跨模态音乐自动生成系统及方法

本发明属于情感音乐生成技术领域，具体涉及一种基于情感识别的跨模态音乐自动生成系统及方法，其方法步骤为：通过信号采集单元同步采集用户面部表情、语音音调及ECG生理信号；通过多模态情感识别模型对采集到的信息进行处理，以获取VAD三维连续情感向量，将VAD三维连续情感向量输入音乐生成模块，通过音乐生成模块中的情感自编码器与音乐自编码器构建共享跨模态潜在空间；采用对比学习损失函数约束情感‑音乐在潜在空间中的一致性；基于Mus‑Decoder生成MIDI格式的音乐文件。本系统能够充分的结合面部表情、语音音调和ECG生理信号多模态的方式，生成与用户当前情绪相匹配的音乐，达到情感语义一致。