一种基于结构化理解的低幻觉多Agent图片问答系统的构建方法及介质

本发明属于大语言模型技术领域，提供了一种基于结构化理解的低幻觉多Agent图片问答系统的构建方法，包括：步骤S1：图片结构化理解的训练数据集构造：针对文本表单型图片数据、数据表型数据、图片分类和text2sql数据，分别构建训练数据集；步骤S2：四种Agent的联合训练：根据四种Agent，构造对应的prompt数据，将prompt数据混合到一起进行原始多模态大语言模型的训练，得到训练后的多模态大语言模型；步骤S3：基于训练后的多模态大语言模型，构建多Agent系统。根据本发明，有效地增强多模态大语言模型的图片内容理解能力，缓解多模态大语言模型的幻觉问题。