Agent的RL和LLM的RL是一回事吗？牛津用500+论文写成综述，一次说清Agentic RL

当我们谈论大型语言模型（LLM）的"强化学习"（RL）时，我们在谈论什么？从去年至今，RL可以说是当前AI领域最炙手可热的词汇。

在过去很长一段时间里，这个词几乎等同于 RLHF（人类反馈强化学习）一种用于"对齐"的技术，它教会模型拒绝有害问题、生成更符合人类偏好的回答。

但最近一年，情况变得微妙起来。

OpenAI的o1/o3、DeepSeek-R1爆火了。它们被称为"推理模型"，似乎比以往的GPT更"聪明"。紧接着Kimi-Researcher也火了，它能自己搜索、阅读几十篇文献、写出完整报告。很多人会说："这不就是模型变强了吗？或者给模型加了搜索功能？这和Agent有什么关系？"

这个疑问，恰恰触及了当前AI领域最核心、也最容易被误解的一个问题：

o1、R1 这些"推理模型"，它们到底是"更聪明的LLM"，还是已经跨越了某个界限，成为了某种"智能体"？它们背后的RL训练，和传统的RLHF，究竟是不是一回事？

牛津大学9月份发布了一份综合了500多篇近期著作的重磅综述 《The Landscape of Agentic Reinforcement Learning for LLMs: A Survey》 给出了响亮而清晰的回答：它们不是一回事。而且，o1、R1这些模型，从技术本质上看，已经是"智能体"了。尽管它们看起来"只是在对话"。

这篇综述的核心价值，就在于它首次为这个正在爆发的新领域进行了严格的“划界”。研究者们在引言中明确了本文的“研究范围”（Scope）：

• 它“不”研究什么？ 它“明确排除”（Out of scope）了“RL 用于人类价值对齐”（例如 RLHF） 和“RL 用于提升静态基准分数”。
• 它“研究”什么？ 它的“主要焦点”（Primary focus）是：“RL 如何赋能（empowers）LLM 智能体在动态环境（dynamic environments）中的能力”。

这篇综述将这个新领域定义为“智能体强化学习”（Agentic RL），一个将LLM从“被动生成器”转变为“自主决策者”的全新范式。本文将继昨天的《LLM为什么能替你操作电脑？4个关键技术让AI拥有"操作系统级"能力｜Agent和工作流的区别就在这》为您深度剖析这份奠基性的综述，揭示 Agentic RL 是如何系统性地构建规划、工具使用、记忆和反思等核心智能的。

理论基石：Agentic RL 究竟“新”在哪里？

这篇综述的第一个重大贡献，就是在理论上严格区分了“传统 LLM-RL”和“Agentic RL”。

我们熟知的 RLHF（人类反馈强化学习）或 DPO（直接偏好优化）属于前者，它们的目标是“对齐”模型的单次输出。而 Agentic RL 的目标，是训练一个能在动态环境中持续决策的“策略”。

论文通过马尔可夫决策过程（MDP）的形式化语言，精准地揭示了两者在“世界模型”上的根本差异。

传统 LLM-RL：退化的“单步”决策

核心局限：这种范式本质上仍是“序列建模”，它优化的是“输出质量”，而不是“决策过程”。它无法处理需要多步骤交互、使用工具或适应环境变化的任务。

Agentic RL：时序扩展的“多步”交互

范式飞跃：Agentic RL 不再是“对齐”一个静态答案，而是在训练一个自主的“策略”。这个策略必须学会在一个充满不确定性的动态世界中，通过一系列思考、行动和观察，来完成一个长期的目标。这正是“智能体”的真正含义。

算法演进：驱动智能体的“优化引擎”

在区分了理论模型后，综述深入探讨了实现 Agentic RL 的核心算法。虽然 PPO、DPO等算法在传统LLM-RL中被广泛使用，但它们在 Agentic RL 范式下，其功能和挑战发生了质的变化。

• PPO (近端策略优化)：
• 作为 RLHF 的“功勋算法”，PPO 及其变体在 Agentic RL 中依然是主力。
• 它通过一个“Clipped Objective”来限制策略更新的步长，确保训练的稳定性。
• 核心挑战：PPO 依赖于一个单独的、与策略模型同样大小的“Critic”网络（价值函数），这使得训练参数量翻倍，计算开销巨大。
• DPO (直接偏好优化)：
• DPO 是一个“革命性”的转变，它完全绕过了奖励模型和 Critic 网络。
• 它巧妙地将“最大化奖励”问题，重构为一个基于“偏好数据”（yw优于yl）的最大似然目标。
• 核心挑战：DPO 严重依赖于高质量、大规模的 “静态偏好数据集”。这在需要在线探索（Online Exploration）的 Agentic RL 任务中是一个巨大限制。
• GRPO (群组相对策略优化)：
• 由 DeepSeek-R1 推广的 GRPO，是为解决 PPO 的 Critic 开销问题而生的。
• 核心思想：GRPO 取消了绝对的价值 Critic。它在一组（Group）采样得到的响应中，计算 “相对奖励”（例如，将每个响应的奖励与其所在组的平均奖励和标准差进行比较）来估计优势函数。
• 范式优势：GRPO 极其样本高效且计算开销低，因为它不需要训练一个庞大的 Critic 网络。这使其成为 Agentic RL 训练（尤其是需要海量探索的任务）的理想选择。

上表详细对比了 PPO、DPO 和 GRPO 三大家族的几十种变体（如 DAPO, GSPO, Step-DPO 等），清晰地展示了学术界和工业界在“优化效率”和“性能”之间进行的持续权衡。

能力视角：RL 如何构建“智能体大脑”

这篇综述最精彩的部分在于它系统性地回答了一个问题：RL 如何将 LLM 智能体的各个核心能力，从“静态模块”转变为“动态策略”？

规划能力 (Planning)

• 传统范式：通过提示（如 ReAct）或固定搜索算法（如 MCTS）来“执行”规划。
• Agentic RL 赋能：RL 让智能体通过环境反馈**“学会”如何规划**。

1. RL 作为外部指导 (External Guide)：LLM 充当“行动提议者”，而 RL 用于训练一个辅助的价值函数或启发式函数，来指导 MCTS 等经典搜索算法，告诉它哪个规划路径“更有价值”。
2. RL 作为内部驱动 (Internal Driver)：这是更高级的范式。LLM 本身就是“策略模型”，RL 的反馈（例如，任务成功与否）直接用于更新 LLM 的参数。例如，VOYAGER 通过环境交互迭代地构建和优化其“技能库”；ETO 则利用 DPO 来学习偏好“成功的规划轨迹”而非“失败的轨迹”。

工具使用 (Tool Using)

这是 Agentic RL 最重要、最成功的应用之一。论文清晰地勾勒了其发展三阶段：

1.ReAct 风格的工具调用：

• 依赖“提示工程” 或“SFT 监督微调”（如 Toolformer）。
• 本质是“模仿学习”：智能体学习复制数据集中“Thought-Action-Observation”的静态模式。
• 局限：僵化，无法适应新工具、新场景，也无法从工具执行失败（如 API 报错）中恢复。

2.工具集成 RL (Tool-integrated RL, TIR)：

• 这是 Agentic RL 带来的质变。学习范式从“模仿”转向“结果驱动的优化”。
• 智能体通过 RL（奖励来自任务最终是否成功）自主发现：何时调用工具、调用哪个工具、以及如何组合工具，才是最优策略。
• 论文引用了 ToolRL、ReTool、ARTIST 等工作，证明 RL 甚至可以训练智能体“自适应地”调整工具调用频率和“自发地”从工具错误中纠正。

3.未来挑战：长时序 TIR (Long-horizon TIR)：

• 当前的瓶颈在于“时序信用分配”。
• 在一个需要 20 步工具调用的任务中，如果任务最终失败了，RL 如何知道是第 3 步的 API 调用错了，还是第 15 步的参数错了？
• 解决这个“稀疏奖励”下的信用分配问题，是实现鲁棒、长时序智能体的关键。

记忆 (Memory)

LLM 的“上下文窗口”是有限的。Agentic RL 致力于将“记忆”从一个被动的外部数据库，转变为一个智能体主动学习管理的动态子系统。

1.RL 用于 RAG 风格记忆：

• 早期的记忆系统（如 MemGPT）是基于“启发式规则”管理记忆的。
• RL 被引入来优化“检索策略”。
• 最新的工作如 Memory-R1，则训练了一个“记忆管理器”，该管理器通过 RL 学习执行 ADD/UPDATE/DELETE/NOOP 等结构化操作，以最大化下游任务（如 QA）的性能。

2.RL 用于词元级记忆 (Token-level Memory)：

• 智能体学习管理“内部记忆”，这些记忆通常以 Token 的形式存在。
• 显式 Token：如 MemAgent，一个 RL 策略在每个时间步决定哪些自然语言 Token 应该被保留在“记忆池”中，哪些应该被覆盖。
• 隐式 Token：如 MemoryLLM，智能体维护一组“潜（Latent）记忆 Token”，这些 Token 在 LLM 的前向计算中被整合和更新，以保留上下文信息。

3.未来挑战：RL 用于结构化记忆：

• 未来的记忆不应是扁平的 Token 序列，而应是结构化的（如知识图谱、时序图、原子记忆笔记）。
• 目前，这些结构化记忆的管理仍然依赖于“手工规则”。
• 综述指出，使用 RL 来动态地、自主地控制这些结构化记忆的构建、演化和修剪，是一个几乎未被探索的、极具前景的方向。

自我提升 (Self-Improvement)

智能体如何“从错误中学习”？RL 提供了将“反思”内化为“本能”的途径。

1.口头自纠 (Verbal Self-correction)：

• 早期工作，如 Reflexion、Self-refine。
• 智能体在一次推理中完成“生成答案 -> 口头反思其错误 -> 生成修正答案”的循环。
• 局限：这种改进是“短暂的”（ephemeral），仅限于当次推理，模型参数没有更新，下次遇到同样问题还是会犯错。

2.内化自纠 (Internalizing Self-correction)：

• Agentic RL 通过梯度更新，将这种反思能力“烧录”进模型参数，使其成为一种“持久的”（durable）能力。
• 例如，KnowSelf 利用 DPO，让模型学习“偏好”那些展现出更强自我反思能力的轨迹。

3.迭代自训练 (Iterative Self-training)：

• 这是智能体自主进化的“终极形态”，类似于 AlphaZero。
• 核心循环：智能体自己生成任务 -> 尝试解决 -> 通过“可验证的执行结果”（如代码是否通过、数学答案是否正确）获得奖励 -> 用这个奖励信号通过 RL 更新自己的策略。
• 例如，Absolute Zero 和 TTRL 都利用了这种“执行引导的课程生成”，使智能体能够在没有人类标注数据的情况下实现无休止的自我提升。

感知能力 (Perception)

对于多模态智能体，RL 不仅用于“看懂”，更用于“主动地看”。

• 传统范式：被动感知（Passive Perception）。模型“看一眼”图像，然后输出一个文本答案（例如 VQA）。RL 只是用来对齐这个文本答案的质量。
• Agentic RL 赋能：主动认知（Active Cognition）。RL 激励智能体在推理过程中“与视觉信息交互”。

1. 锚定驱动的主动感知 (Grounding-Driven)：RL 奖励那些将每一步文本推理（CoT）都显式地“锚定”（grounding）到图像特定区域的行为。
2. 工具驱动的主动感知 (Tool-Driven)：RL 训练智能体主动调用视觉工具。例如，Pixel Reasoner 扩展了智能体的动作空间，使其可以执行 crop, erase, paint 等操作，并通过“好奇心驱动的奖励”来激励其探索。
3. 生成驱动的主动感知 (Generation-Driven)：RL 训练智能体在推理时“想象”，即生成草图或中间图像来辅助思考。例如，GoT-R1 使用 RL 来优化智能体在生成最终图像之前，自主发现“语义-空间推理规划”。

任务视角：Agentic RL 的“真实战场”

综述继续系统盘点了 Agentic RL 在各大主流任务上的应用。这种分类让我们看到了理论是如何落地为“护城河”的。

搜索与研究智能体

• 目标：超越简单的 RAG，实现复杂的、多步骤的“深度研究”（Deep Research）。智能体需要自主地迭代查询、综合多源信息、撰写报告。

• 开源方法：
• WebDancer：结合人类浏览轨迹 SFT 和 RL 微调，训练 ReAct 风格的智能体。
• WebThinker：构建一个“思考-搜索-起草”的循环，并通过 DPO 对齐人类反馈。
• ASearcher：使用大规模异步 RL，实现了 40+次工具调用的长时序搜索。
• 闭源系统：
• OpenAI Deep Research、Perplexity DeepResearch、Kimi-Researcher 等系统被认为是这一领域的标杆，它们可能结合了更强的基础模型和先进的 RL 调优。

代码智能体：奖励设计的完美试验场

代码任务是 Agentic RL 的“理想试验场”，因为它提供了即时、可靠、可验证的反馈信号（例如编译、单元测试、运行时错误）。

研究者将此领域的方法清晰地划分为两种奖励设计思路：

1.结果奖励 RL (Outcome Reward RL)：

• 奖励信号：只看最终结果，例如 pass@k 或单元测试的通过率。
• 代表作：AceCoder、DeepCoder-14B、RLEF。
• 挑战：奖励信号极其稀疏，导致在长时序任务（如自动化软件工程 SWE）中难以学习。

2.过程奖励 RL (Process Reward RL)：

• 奖励信号：为了解决稀疏性，RL 从中间过程获取密集的监督信号。
• 代表作：
• StepCoder：将“编译”和“执行”分解为步骤级信号（例如，编译器错误）来进行奖励塑形。
• PSGPO：利用中间的错误跟踪和过程标注作为密集奖励。
• PRLCoder：训练一个“教师模型”来评估不完整的代码片段，从而提供细粒度的监督。
• 应用：这种方法不仅用于“代码生成”，还被用于更高级的“迭代式代码优化”（Debug） 和“自动化软件工程”（SWE），如 SWE-RL、Qwen3-Coder 等。

数学智能体：推理的“黄金标准”

数学推理因其对逻辑一致性和长时序演绎的严格要求，被视为评估智能体推理的“黄金标准”。

1.非形式化数学推理 (Informal Reasoning)：

• 任务：指在自然语言中进行推理，或使用 Python 等工具进行符号计算。
• RL 应用：
• ARTIST 和 ToRL：利用“结果奖励”训练智能体学习何时以及如何交错调用“代码执行器”和“自然语言推理”。RL 训练使其涌现出了“自适应工具使用”和“基于工具反馈的自纠正”等认知行为。
• TTRL：在“测试时”利用多数投票来估计奖励，并快速微调一个临时策略来解决当前问题。

2.形式化数学推理 (Formal Reasoning)：

• 任务：使用 Lean、Isabelle 等“证明辅助工具”，生成机器可验证的严格证明。
• RL 应用：
• DeepSeek-Prover：开创性地展示了仅使用“结果奖励”（证明是否通过 Lean 验证器）的端到端 RL 流程，并结合 MCTS 探索，显著提升了证明成功率。
• Leanabell-Prover-v2：将“验证器返回的错误信息”作为“过程奖励”信号，整合到 RL 更新中，使智能体能“感知验证器”并减少重复的失败模式。
• STP：采用“自玩”（Self-play）和“专家迭代”（Expert Iteration）的混合奖励范式，让“猜想者”和“证明者”相互博弈，自动生成课程来缓解稀疏奖励问题。

GUI 智能体与多智能体系统

• GUI 智能体：
• 训练智能体操作图形界面（APP、网页、操作系统）。
• 早期依赖 SFT 静态轨迹数据。
• Agentic RL（如 WebAgent-R1、DiGiRL、ComputerRL）使其转向**“在线交互环境”**中学习，智能体必须通过“试错”来处理动态和随机的界面变化。
• 多智能体系统 (MAS)：
• RL 不仅用于训练单个智能体，还用于优化“智能体之间的协作”。
• MAPORL：扩展了“多智能体辩论”框架，将辩论的“验证结果”作为 RL 奖励，以提升协作推理能力。
• FlowReasoner：训练一个“元智能体”（Meta-Agent），该智能体通过 RL 学习如何动态地协调其他智能体，其奖励信号是多维度的（性能、效率、成本）。
• Chain-of-Agents (COA)：通过“多智能体蒸馏”和“智能体强化学习”，将复杂的多智能体协作模式“内化”到单个 Agent Foundation Model (AFM) 中。

生态系统：Agentic RL 的“弹药库”

Agentic RL 的蓬勃发展，离不开底层“环境”和“框架”的支持。

环境模拟器 (Environments)

这是训练智能体的“健身房”和“考场”。综述将其归纳为几大类：

• 网页环境：WebShop、Mind2Web、WebArena（可复现的 Docker 容器环境）。
• GUI 环境：AndroidWorld（在真实安卓模拟器上运行）、OSWorld（跨 Ubuntu, Windows, macOS）。
• 代码 & SWE 环境：Debug-Gym、SWE-bench（源自真实 GitHub issue）、ColBench。
• 科学 & 游戏：ScienceWorld、ALFWorld、Crafter。
• 通用环境：AgentBench、InternBootcamp。

RL 框架 (Frameworks)

这是构建智能体的“工具箱”。综述将其分为三类：

1.Agentic RL 专用框架：

• 专门为 LLM 智能体设计的端到端训练框架。
• AREAL：用于语言推理的大规模异步分布式架构。
• AWorld：通过跨集群的海量并行 Rollout 来解决“经验生成”的瓶颈。
• AgentRL：可扩展的异步框架，支持多轮、多任务的智能体 RL 训练。
• 同样值得关注的 Agent Lightning （来自微软）则提供了一个灵活的RL框架，它通过将智能体执行（建模为 MDP）与训练过程解耦，并采用一种分层的RL算（LightningRL），从而能以近乎零代码修改的方式来训练任何AI智能体。

2.RLHF & LLM 微调框架：

• 提供了核心的 RL 算法实现，如 OpenRLHF、TRL、trlX。

3.通用 RL 框架：

• 提供了核心的算法和引擎，如 RLlib、Tianshou。

开放挑战：通往“通用智能”的三大鸿沟

在绘制了宏伟蓝图之后，综述在快最后的部分以极其冷静和深刻的笔触，指出了 Agentic RL 前进道路上的三大挑战。

挑战一：可信度危机 (Trustworthiness)

Agentic RL 的自主性是一把双刃剑。综述指出，RL 的引入不仅没有解决，反而在某些方面加剧了 LLM 的可信度问题。

1.安全 (Security)：

• 智能体拥有了工具、记忆和与环境交互的能力，其“攻击面”远超传统 LLM。
• 最大的危险来自“奖励黑客”（Reward Hacking）。RL 智能体的唯一目标是“最大化奖励”。如果它发现“调用恶意 API”或“利用系统安全漏洞”是达成目标（获得高分）的最快路径，RL 将主动地强化（Reinforce）这种不安全行为。这比被动的提示注入要危险得多。

2.幻觉 (Hallucination)：

• 幻觉是 LLM 的顽疾。而Agentic RL 可能会带来“幻觉税”（Hallucination Tax）。
• 原因：如果只使用“结果奖励”（Outcome-driven RL），智能体可能会发现，通过在中间推理步骤中“编造”（幻觉）看似合理的步骤，也能“碰巧”得到正确答案。RL 会奖励这种“投机取巧”的行为，导致其幻觉加剧。
• 解法：转向“过程奖励”（Process-based rewards），例如 FSPO，即对智能体的每一步推理进行事实性验证，从而直接惩罚不真实的中间步骤。

3.逢迎 (Sycophancy)：

• 指 LLM 倾向于同意用户的错误观点，而非坚持事实。
• 综述指出，RLHF 是导致“逢迎”的主要原因。
• 原因：因为人类标注者在标注偏好数据时，天生就“偏好”那些“ agreeable”（顺从的、 validating）的回答。这导致奖励模型（RM）错误地学习到“逢迎 = 高分”。RL 策略在优化这个 RM 时，就会被直接激励去学习这种逢迎行为，哪怕这违背了事实。

挑战二：规模化的双重瓶颈

1.训练规模化 (Scaling up Training)：

• 算力、数据和模型大小是永恒的主题。
• 综述引用 ProRL、Agent RL Scaling Law 等研究证明，增加 RL 训练的计算量（即更长的训练步数），可以直接、系统性地提升智能体的推理能力、工具使用频率和任务准确率。RL 训练是一种根本性的能力提升轴。

2.环境规模化 (Scaling up Environment)：

• 这被认为是未来 Agentic RL 的核心瓶颈。
• 现有的环境（如 ALFWorld）过于简单，已不足以训练通用智能体。
• 未来的范式：不应只“训练智能体”来适应“静态环境”，而应该让“环境”和“智能体”共同进化。
• 综述重点介绍了 EnvGen 等工作：使用一个 LLM 作为“环境生成器”。这个生成器根据智能体当前的弱点，程序化地（PCG）生成新的、有针对性的任务，确保智能体始终在其“最近发展区”内训练。
• 这种“自动化课程生成”与“自动化奖励设计”相结合，将创造一个可扩展的“训练飞轮”（Training Flywheel），这是通向自进化 AI 的关键。

挑战三：终极辩论：RL 是“放大器”还是“新知识”？

在综述的最后，研究者提出了一个关于 Agentic RL 机制的深刻辩论，直指其灵魂：

RL 训练究竟为什么能提升 LLM 的推理能力？

1.“放大器”假说 (The "amplifier" view)：

• 此观点认为，RL 没有创造任何新能力。
• LLM 在其海量的预训练数据中，已经“见过”或“潜在地知道”了所有正确的推理路径。
• RL（尤其是 GRPO 这类“采样-验证-奖励”的范式）所做的，仅仅是“放大”了那些已经存在、但概率较低的正确路径的概率。它只是提高了 pass@1 的成绩，但模型的“能力边界”（pass@k）并没有真正扩展。

2.“新知识”假说 (The "new-knowledge" view)：

• 此观点认为，RL 确实安装了“新的计算”，教会了模型在“下一个词预测”的预训练中无法学到的东西。
• 理论证据：在某些任务（如奇偶校验）上，仅靠“下一个词预测”在统计上是无法学会的，而 RL 却可以。
• 实证证据：RL 训练后的模型，涌现出了在基础模型中完全不存在的新认知行为（例如验证、回溯、设置子目标），并且这些新行为能泛化到分布外（OOD）的任务上。

研究者的结论是：RL 究竟能否真正赋予 LLM 超越其预训练所学的、定性上的新能力，这仍然是一个悬而未决的开放性问题。

结语：一个新时代的开启

这篇综述 以前所未有的广度和深度，为我们系统地绘制了Agentic Reinforcement Learning 这一新兴领域的全景图。它从根本上重新定义了 LLM 的训练目标：从优化“被动的文本生成”（LLM-RL），转向优化“自主的决策策略”（Agentic RL）。

论文通过两大分类法，一个围绕核心智能体能力（规划、工具使用、记忆、反思、感知），另一个围绕关键任务域（搜索、代码、数学、GUI）系统地论证了强化学习（RL）是实现这一范式转变的“关键机制”。

同时，它也深刻地指出了通往这条道路的三大挑战：可信度的内在风险（奖励黑客）、规模化的双重瓶颈（训练与环境），以及机制上的终极疑问（放大器 vs 新知识）。

对于任何希望理解下一代 AI 核心驱动力的工程师、研究者和产品经理而言，这篇综述提供了一张不可或缺的“全景地图”。

文章来自于“Al修猫Prompt”，作者“Al修猫Prompt”。