基于用户意图的模型推理方法、装置、设备、介质、程序产品

本申请提供一种基于用户意图的模型推理方法、装置、设备、介质、程序产品。方法包括：获取大语言模型的输入tokens；基于输入tokens生成对应的每个输入token的token语义向量；计算每个输入token对应的token语义向量与意图语义向量的相似度；根据相似度从意图语义向量中确定目标意图语义向量；将输入tokens以及每个输入token对应的目标意图语义向量的意图tokens作为大语言模型的输入，通过大语言模型进行推理，获得推理结果。本申请实施例中的大语言模型在推理过程中，不仅关注输入 tokens 本身，还结合用户历史行为数据生成的意图语义向量，减少因输入 tokens 表面信息有限或模糊导致的误解，更精准地把握用户需求，提升推理准确性。