挑战GRPO，英伟达提出GDPO，专攻多奖励优化
挑战GRPO，英伟达提出GDPO，专攻多奖励优化GRPO 是促使 DeepSeek-R1 成功的基础技术之一。最近一两年，GRPO 及其变体因其高效性和简洁性，已成为业内广泛采用的强化学习算法。
来自主题: AI技术研报
7281 点击 2026-01-12 09:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GRPO 是促使 DeepSeek-R1 成功的基础技术之一。最近一两年，GRPO 及其变体因其高效性和简洁性，已成为业内广泛采用的强化学习算法。
近年来，强化学习 (RL) 在提升大型语言模型 (LLM) 的链式思考 (CoT) 推理能力方面展现出巨大潜力，其中直接偏好优化 (DPO) 和组相对策略优化 (GRPO) 是两大主流算法。
最近在WaytoAGI社区，留意到有朋友在用一款海报，发送最新的咨询信息，并且信息整理详尽，你可以从无序的新闻热点里，跳出来了。 那么今天介绍的，ReadPo 是 AI 驱动的读写助手。以闪电般的速度帮你完成信息的收集和筛选，并创建引人入胜的新内容。
近年来，大语言模型（LLMs）的对齐研究成为人工智能领域的核心挑战之一，而偏好数据集的质量直接决定了对齐的效果。无论是通过人类反馈的强化学习（RLHF），还是基于「RL-Free」的各类直接偏好优化方法（例如 DPO），都离不开高质量偏好数据集的构建。
近日，在红点创投（Redpoint Venture）的播客“Unsupervised Learning”上，红点创投合伙人Jacob Effron与David Luan进行了一次访谈。他们从技术视角出发，探讨了DeepSeek给大模型领域的研究和实践带来的启示，并围绕AI模型当下瓶颈的思考和潜在的突破方向做了分享。
传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。
最近OpenAI Day2展示的demo可能把ReFT带火了。实际上这不是一个很新的概念，也不是OpenAI原创的论文。 接下来，本文对比SFT、ReFT、RHLF、DPO、PPO这几种常见的技术。
提升LLM数学能力的新方法来了——
代码模型SFT对齐后，缺少进一步偏好学习的问题有解了。 北大李戈教授团队与字节合作，在模型训练过程中引入偏好学习，提出了一个全新的代码生成优化框架——CodeDPO。
多图像场景也能用DPO方法来对齐了！ 由上海交大、上海AI实验室、港中文等带来最新成果MIA-DPO。 这是一个面向大型视觉语言模型的多图像增强的偏好对齐方法。