基于强化学习策略的大语言模型训练方法、装置和设备

本公开提供了一种基于强化学习策略的大语言模型训练方法、装置和设备，涉及强化学习与自然语言处理技术领域。该方法包括：从回放缓冲区存储的历史查询语句中采样重放查询语句，并从训练数据集中采样新查询语句，得到当前批次样本；将当前批次样本中的任意一个当前查询语句输入大语言模型生成多个在线查询结果，并确定在线查询结果的奖励值；根据在线查询结果的奖励值，确定是否为当前查询语句引入标准查询结果；若引入标准查询结果，则基于大语言模型，根据标准查询结果、在线查询结果的奖励值、标准查询结果的奖励值、在线查询结果的当前批次概率以及上一批次概率，确定策略梯度损失，并采用策略梯度损失对大语言模型的策略参数进行更新。