近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。
Cursor套壳Kimi这事还没完…… 最新消息，Cursor放出Composer 2技术报告，力证自己还是有在“自研”。（doge） 不是纯套，而是有技术地套、循序渐进地套。用的方法，还是他们一开始就强调的预训练+强化学习。
在大模型后训练阶段，监督微调（SFT）和强化学习（RL）是两根不可或缺的支柱。SFT 利用高质量的离线（Off-policy）数据快速注入知识，但受限于静态数据分布，泛化能力往往容易触及天花板并带来灾难性遗忘；RL 则允许模型在探索中不断自我迭代，产生与当前策略同分布（On-policy）的数据，上限极高，但往往伴随着训练极度不稳定、计算资源消耗巨大的痛点。
3 月 20 日，知名 AI 代码编辑器 Cursor 高调发布了所谓的编程模型 Composer 2，结果被网友质疑「套壳」 Kimi K2.5。而从官方口径来看， Composer 2 的性能简直是降维打击：全基准大幅领先前代，首次引入持续预训练，叠加大规模强化学习，能解决需要数百个操作的高难度编程任务。
在经典强化学习问题中，动作空间通常是离散且有限的。例如在围棋中，一步棋就是一次行动；在机器人控制或视觉 - 语言 - 行动（VLA）模型中，动作往往来自一个有限的控制指令集合。
在具身智能的发展路径中，视觉 - 语言 - 动作（VLA）模型正逐步成为通用操作任务的核心框架。但当任务进入长程规划、柔性物体操作、精细双臂协同、动态交互等复杂场景时，VLA 仍然面临两个根本性挑战：
在当前的 LLM 开发中，后训练阶段通常被视为赋予模型特定能力的关键环节。传统的观点认为，模型必须通过强化学习（如 PPO、GRPO 或 RLHF）和进化策略（ES）等算法，在反复的迭代和梯度优化过程中调整权重，才能在特定任务上达到理想的性能。
大语言模型（LLM）的幻觉问题一直是阻碍其在关键领域部署的核心难题。近日，研究人员提出了一种名为行为校准强化学习（Behaviorally Calibrated Reinforcement Learning）的新方法，通过重新设计奖励函数，让模型学会「知之为知之，不知为不知」。
让OpenClaw帮干活还不够，现在，程序员们正想方设法让🦞自己变强。
用强化学习微调扩散模型，还有更好的办法吗？
