摘要
本发明公开了基于多模态和人机协同的音乐演奏智能评价系统及方法，涉及音乐演奏智能评价技术领域，包括采集音乐演奏过程中的音频信号、视频图像以及演奏动作数据，得到多模式信息数据集；对所述多模式信息数据集进行特征提取，通过应用卷积神经网络及循环神经网络模型对音频信号、视频图像以及演奏动作数据进行解析，生成基础特征集；基于所述基础特征集，利用深度学习算法识别并分析演奏过程中传达的情感内容，输出情感强度值与情感类别；根据标准乐谱与演奏录音之间的对比分析音准误差、节奏偏差及力度匹配度，并结合从演奏动作数据中提取的动作特征评估演奏者的动作规范性，计算各维度得分；根据应用场景调整客观评分与主观评分之间的权重。
