模型可逆偏好优化训练方法、装置、设备、存储介质及产品

本申请涉及模型后训练技术领域，公开了一种模型可逆偏好优化训练方法、装置、设备、存储介质及产品，包括：根据预设训练集构建可逆训练任务对模板，可逆训练任务对模板包括原任务模板和逆任务模板；基于原任务模板将预设训练集中的原任务输入到待训练模型中，输出原任务采样结果；通过逆任务模板将原任务采样结果填充为逆任务，并输入到评估模型中，输出逆任务重构结果；根据原任务、原任务采样结果和逆任务重构结果得到总损失函数；根据总损失函数对所述待训练模型进行训练，得到目标模型。通过构建可逆训练任务对模板，实现原任务与逆任务间的双向学习，无需人工标注奖励值，显著降低数据获取成本和偏好数据的人工标注需求，提高训练效率。