摘要
本发明公开了一种基于检索增强生成技术的发电设备多模态问答方法，包括以下步骤：S1，采集图文数据；S2，数据清洗和标注；S3，基于LoRA算法对多模态大模型进行微调，通过观察测试数据集得到适用于发电设备问答场景的多模态大模型；S4，构建多模态设备检修知识问答系统；S5，基于用户问题进行检索与生成，上述系统根据用户问题，通过向量检索技术从知识库中提取相关的文本和图像信息，结合上下文提示词输入多模态大模型，生成包含答案和引用知识索引的回答内容。本发明通过多模态数据处理、检索增强生成技术、引用溯源及对知识库的动态更新和有效利用，显著提升了发电设备管理和维护领域问答系统的性能和实用性，增强了系统的综合服务能力。
