多模态大模型微调方法、智能客服问答方法及计算设备

本发明公开了一种多模态大模型微调方法、智能客服问答方法及计算设备，方法包括：基于企业客服通话日志生成多个文本问答样本，并获取每个文本问答样本对应的样本录音文件；对于每个文本问答样本，利用多模态大模型中的初始情感编码器从文本问答样本对应的样本录音文件中提取样本用户情感特征；利用多模态大模型中的预训练大语言模型，基于文本问答样本中的样本用户文本问题信息以及样本用户情感特征，生成预测客服文本回答信息；基于预测客服文本回答信息与文本问答样本中的样本客服文本回答信息之间的交叉熵损失值，来对多模态大模型进行微调。微调后的大模型能够精确提取用户情感特征，生成更精确、更人性化的回答。