基于强化学习的RAG系统评估数据集自动合成方法和装置

本申请涉及一种基于强化学习的RAG系统评估数据集自动合成方法和装置，其中，该方法包括：获取RAG系统的知识库数据，并从知识库数据中提取目标垂直领域的关键词和相关的文档；根据关键词和文档，利用预设的提示词模版合成初始问答对；构建初始问答对的奖励；根据关键词、初始问答对、奖励以及初始策略模型的参数，确定初始策略模型的训练数据；并基于训练数据，对初始策略模型进行训练，得到目标策略模型；利用目标策略模型，基于关键词和文档批量生成满足奖励的目标问答对，通过本申请，解决了相关技术中评估数据集合成的成本高，效率低下，影响评估RAG系统有效性的问题，能够降低合成成本，提高合成效率。