一种基于多专家模型的多模态检索增强生成方法及系统

本发明公开了一种基于多专家模型的多模态检索增强生成方法及系统。该多模态检索增强生成方法包括步骤：S1：利用视觉语言模型和音频理解模型作为专业理解模型，对输入的多模态数据进行处理，将图像、视频和音频信息转换为统一的文本表示；S2：通过跨模态特征对齐机制，生成结构化文本描述，形成多模态信息的标准化文本单元；S3：基于BERT生成式嵌入型，对用户输入的文本查询及转换后的文本进行向量化处理；S4：在向量数据库中进行相似性搜索，检索与查询最相关的文本文档；S5：将检索到的文本与用户查询拼接后输入大语言模型，生成最终的回答。本发明的多模态检索增强生成方法，创新性地引入专业理解模型作为异模态编码器，提升大模型对多模态信息的处理能力，实现真正的跨模态理解。