告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%强化学习已经成为大模型后训练阶段的核心方法之一，但一个长期存在的难题始终没有真正解决：现实环境中的反馈往往稀疏且延迟，模型很难从简单的奖励信号中推断出应该如何调整行为。
来自主题: AI技术研报
9387 点击 2026-03-03 14:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
强化学习已经成为大模型后训练阶段的核心方法之一，但一个长期存在的难题始终没有真正解决：现实环境中的反馈往往稀疏且延迟，模型很难从简单的奖励信号中推断出应该如何调整行为。
最近Cursor 发布了 Composer 1.5。这一版把强化学习规模扩大了 20 倍，后训练计算量甚至超过了基座模型的预训练投入。还加了 thinking tokens 和自我摘要机制，让模型能在复杂编程任务里做更深度的推理。
在当今的大模型后训练（Post-training）阶段，DPO（直接偏好优化） 凭借其无需训练独立 Reward Model 的优雅设计和高效性，成功取代 PPO 成为业界的 「版本之子」，被广泛应用于 Llama-3、Mistral 等顶流开源模型的对齐中。
我们进入了一个模型不再只是“工具”的时代。真正的突破，不在于它能做多少事，而在于它是否能读懂你的意图、情绪与沉默。
当大模型竞争转向后训练，继续为闲置显卡烧钱无异于「慢性自杀」。如今，按Token计费的Serverless模式，彻底终结了算力租赁的暴利时代，让算法工程师真正拥有了定义物理世界的权利。
直到刚刚，用最新的图像模型NextStep-1.1，扳回一球。总体来看，这次开源的NextStep-1.1解决了之前NextStep-1中出现的可视化失败（visualization failures ）问题。其通过扩展训练和基于流的强化学习（RL）后训练范式，大幅提升了图像质量。
最近，清华大学教授、智谱AI首席科学家唐杰发了一条长微博，总结了自己2025年对大模型进展的感悟。从预训练到中后训练、长尾场景的对齐能力，再到Agent、多模态和具身智能的发展，其中有不少亮点。
2025年底，最令人印象深刻的AI圈大事莫过于Gemini 3 Flash的发布。
近日，上海人工智能实验室的研究团队提出了一种全新的后训练范式——RePro（Rectifying Process-level Reward）。这篇论文将推理的过程视为模型内部状态的优化过程，从而对如何重塑大模型的CoT提供了一个全新视角：
VLA模型性能暴涨300%，背后训练数据还首次实现90%由世界模型生成。