一种在线辅助语音对话场景的多模态情感提示方法及系统

本发明公开了一种在线辅助语音对话场景的多模态情感提示方法及系统，涉及人工智能技术领域，将语音对话场景中的语音信号输入到训练好的多模态情感提示大模型中，输出情感标签及语音情感提示信息；多模态情感提示大模型的训练过程如下：获取真实对话场景的原始语音数据以构建情感识别的训练数据集；对训练数据集中的原始语音数据进行特征提取，得到原始语音特征向量；将原始语音特征向量输入到稀疏桥接Transformer模块中，输出融合特征；将融合特征输入到大语言模型中，通过文本解码生成连贯的语音情感提示信息，并关联对应的情感标签；该多模态情感提示方法及系统，实现了对在线辅助语音对话场景下语音情感的精准分析与提示。