一种基于多模态语义图与提示学习结合的对话推荐方法

本发明公开了一种基于多模态语义图与提示学习结合的对话推荐方法，首先基于知识图对对话历史中的实体进行编码，对产品文本和图像进行特征编码，然后，构建了多种不同模态的语义图，包括文本语义图，图像语义图和协作语义图，并生成对应的嵌入并得到融合了多种模态语义关系的多模态语义图嵌入在此基础上，创新性地将多模态语义图与提示学习相结合，并利用大语言模型充分挖掘高维语义关联，有效建模产品间的多模态特征和结构化语义关系，并在多轮对话推荐场景中动态捕获用户偏好，以更全面地理解用户需求，生成更加精准的推荐结果，这样在推荐任务中显著提高了准确性，同时在对话任务中能够生成更加自然且契合上下文的内容，提升对话推荐系统对话生成的表现。