超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考
8254点击    2025-07-29 10:09

超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考



一句话概括:与其训练一个越来越大的“六边形战士”AI,不如组建一个各有所长的“复仇者联盟”,这篇论文就是那本“联盟组建手册”。(原论文题目见文末,点击阅读原文可直接跳转至原文链接,Published on arxiv on 03 Jul 2025, by Renmin University of China)


亲爱的读者们,沈公子的公众号agent🤖和base model近期取得了重大突破,今后公众号文章行文会更流畅,处理公式和符号也完全达到人类专家水准,会大幅减少出现错乱和显示异常的情况,提升阅读体验。enjoying :)


第一阶段:核心思想概览


论文的动机


在面对“未来的家庭娱乐会是什么样?”或“结合最新的财报和市场趋势,分析一下苹果公司的下一个增长点可能在哪里?”这类复杂问题时,我们需要的不仅仅是简单的搜索结果。我们需要一个能像研究员一样,深入思考、跨领域整合信息、并最终给出一个全面、有洞察力的答案的系统。


传统的搜索引擎,如谷歌或百度,只是信息检索的第一步,它们给我们一堆网页链接,后续的筛选、阅读、整合、提炼观点等繁重工作,都需要用户自己完成。近年来兴起的“检索增强生成”(RAG)技术,虽然能自动检索并生成答案,但大多遵循一个固定的、预设好的流程,就像一个只会按部就班办事的初级助理,缺乏灵活性和深度。


而更先进的一些AI智能体(Agent)方法,虽然尝试让一个大模型同时具备规划、搜索、执行代码等多种能力,但这又带来了新的问题:单一模型既当“战略规划师”又当“一线执行者”。这就像让一个公司的CEO不仅要制定公司未来五年的发展战略,还要亲自去跑市场、写代码、做设计。结果可想而知:CEO的宝贵精力被琐碎的执行细节淹没,无法进行清晰、连贯的顶层战略思考,导致整个决策过程效率低下、容易出错,而且想给公司增加一个新业务(比如视频制作),就需要对CEO进行复杂的再培训,扩展性极差。


这篇论文的动机,正是要解决这种“规划与执行耦合过紧”导致的效率和扩展性瓶颈。


论文的主要贡献


  • 分层推理架构(Hierarchical Reasoning Architecture):论文最核心的创新是提出了一个名为HiRA的框架,它将复杂的搜索任务解构成一个“规划”和“执行”相分离的层级结构。
  • 增强的能力集成(Enhanced Capability Integration):HiRA框架允许像搭积木一样,“即插即用”地集成各种不同能力的专家智能体(如搜索、编程、识图等),而无需对核心规划模型进行重新训练或复杂的改造。
  • 优越的实证性能(Superior Empirical Performance):论文通过在多个复杂搜索任务上的实验证明,其提出的HiRA框架在效果和效率上都显著优于现有方法。


为了实现这些创新,作者设计了一个由三个核心角色组成的团队:


  • **元推理规划器 (Meta Reasoning Planner)**:扮演“顶层战略家”的角色,负责将复杂问题分解成一系列逻辑清晰的子任务。


  • **自适应推理协调员 (Adaptive Reasoning Coordinator)**:扮演“项目经理”的角色,负责理解子任务、选择最合适的专家去执行、并对专家的工作结果进行“提炼总结”后,再汇报给规划器。


  • **领域专业执行器 (Domain-Specialized Executors)**:扮演“专家团队”的角色,每个执行器都精通一项特定技能,如网页深度搜索、代码执行、多模态信息处理等。


论文的显著成果在于,它不仅仅在数值上取得了领先(如在GAIA等复杂基准测试上大幅超越SOTA),更重要的是,它为构建更强大、更可扩展的AI智能体系统提供了一个行之有效的架构范式。这种“分而治之、专人专事”的思想,解决了单一模型“精神分裂”的困境,使得AI能够以一种更有条理、更高效的方式解决真正复杂的问题。


理解论文的关键与难点


  • 核心概念:“解耦规划与执行”(Decoupled Planning and Execution)的思想是理解整篇论文的基石。
  • 关键机制:实现这一思想的关键是三层架构:规划器(Planner)、协调员(Coordinator)、执行器(Executor)。其中,自适应推理协调员(Adaptive Reasoning Coordinator) 的工作机制是理解整篇论文的重中之重。
  • 挑战性部分推理蒸馏(Reasoning Distillation):协调员如何将执行器充满技术细节的原始工作流程,提炼成对上层规划器有用的、简洁的洞察?
  • 双通道记忆机制(Dual-Channel Memory):协调员如何管理和利用从各个专家那里收集来的信息,以供后续任务使用?
  • 概念间的依赖关系:规划器产生高层计划(子任务)。协调员接收子任务,分派给最合适的执行器。执行器完成工作并返回结果。协调员接收结果,进行“推理蒸馏”和“记忆更新”,然后将提炼后的信息反馈给规划器,供其进行下一步规划。这是一个闭环的、动态的流程。


因此,我们的解释将从自适应推理协调员(Adaptive Reasoning Coordinator) 这个枢纽角色切入。


第二阶段:核心概念的深入解析


用比喻理解核心机制:组建一家明星咨询公司


想象一下,我们成立了一家顶级的咨询公司,专门解决客户提出的各种刁钻、复杂的问题(例如,“如何为一款新型咖啡机开拓亚洲市场?”)。


  • **公司CEO (元推理规划器 Meta Reasoning Planner)**:他是一位经验丰富的战略家。接到客户的复杂需求后,他不会一头扎进细节,而是将项目分解成几个关键阶段,比如:“第一阶段,分析亚洲主要市场的咖啡消费习惯;第二阶段,调研竞争对手的产品和定价;第三阶段,制定初步的营销策略。” CEO只下达这样高层次的指令。
  • **明星项目经理PM (自适应推理协调员 Adaptive Reasoning Coordinator)**:这是公司的核心人物,也是我们比喻的主角。PM从CEO那里接到“第一阶段”的任务。他的工作不是自己去做调研,而是:
  • **任务解读与分配 (Reasoning Transfer)**:PM分析任务需求,知道这需要市场数据和文化洞察。他查看公司的人才库,决定将“数据分析”部分交给数据分析团队,将“文化洞察”部分交给本地市场研究团队。
  • 成果提炼与汇报 (Reasoning Distillation):数据团队交上来的是一堆密密麻麻的Excel表格和统计模型(执行器的原始输出),而市场研究团队给的是几十页的访谈记录。PM不会把这些原始材料直接丢给CEO。他会把这些材料融会贯通,提炼成一份干练的摘要报告:“结论:亚洲市场,特别是东亚,年轻人对冷萃和手冲咖啡兴趣浓厚,但价格敏感。关键支撑:数据A表明…,访谈B证实…。建议:后续应重点关注20-30岁群体。” 这份报告就是“蒸馏”后的结果。
  • **知识库管理 (Dual-Channel Memory):在项目进行中,PM会维护一个共享知识库。他会把“东亚年轻人咖啡消费趋势报告.pdf”存入资源库 (Resource Memory),并把“结论:东亚年轻人对价格敏感”这个核心发现记入事实库 (Fact Memory)**。这样,当公司接到下一个类似项目时,新PM就能直接利用这些宝贵积累,避免从零开始。
  • **专家团队 (领域专业执行器 Domain-Specialized Executors)**:公司拥有各种专家团队,比如:
  • **市场调研部 (Search Agent)**:擅长上网搜集公开信息。
  • **数据科学部 (Code Agent)**:擅长编程、处理数据、进行计算。
  • **创意设计部 (Multimodal Agent)**:擅长解读图片和视频。


这个咨询公司的运作模式,就是HiRA框架的精髓:CEO(规划器)专注于战略,PM(协调员)负责调度和信息提炼,专家团队(执行器)负责具体执行。


比喻与技术的对应关系


  • 比喻中的关键元素
  • CEO: 对应 元推理规划器 (Meta Reasoning Planner)
  • 项目经理 (PM): 对应 自适应推理协调员 (Adaptive Reasoning Coordinator)
  • 专家团队: 对应 领域专业执行器 (Domain-Specialized Executors)
  • PM分配任务: 对应 推理传输过程 (Reasoning Transfer Process)
  • PM写摘要报告: 对应 推理蒸馏过程 (Reasoning Distillation Process)
  • 公司共享知识库: 对应 双通道记忆机制 (Dual-Channel Memory)
  • 对应关系的合理性:这种对应关系完美地诠释了“解耦”。CEO不必关心数据团队是用Python还是R语言,也不必阅读冗长的访谈记录,他只需要PM提炼后的核心洞察来做下一步决策。这正对应了HiRA中,规划器不受执行细节干扰的特点,从而能进行更清晰、更长远的思考。


超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考

超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考

超越RAG的搜索革命!分层框架让AI像专家团队一样深度思考


第三阶段:HiRA工作流程详解


让我们跟随一个具体的例子,详细拆解HiRA框架从接收问题到给出答案的全过程。假设用户提出的问题是论文案例中的:“根据维基百科,在东盟(ASEAN)国家集团中,哪两个国家的首都之间地理距离最远?请按字母顺序列出这两个国家。”


第一步:接收任务,规划器启动


  • 输入:HiRA系统接收到上述复杂问题。
  • 规划器思考元推理规划器 (CEO) 开始分析,形成一个初步的高层次计划。
  • 生成第一个子任务:基于计划,生成第一个指令:<begin_call_subtask> 从维基百科检索东盟成员国及其首都的列表。 <end_call_subtask>


第二步:协调员的智能调度


  • 输入自适应推理协调员 (PM) 捕获到子任务。
  • 分析与选择:协调员分析任务是“检索列表”,判断“简单搜索代理”足以胜任。
  • 派任务:协调员将指令发送给“简单搜索代理”。


第三步:执行器的专业操作


  • 输入:“简单搜索代理”接收到指令。
  • 执行:调用搜索引擎,构造查询,访问维基百科页面,提取国家和首都列表。
  • 输出:将提取到的原始数据列表返回给协调员。


第四步:协调员的提炼与反馈


  • 输入:协调员接收到原始列表结果。
  • 推理蒸馏:将结果提炼成简洁的总结:“成功获取了10个东盟国家及其首都的列表。”
  • 记忆更新:同时,更新事实记忆(如“文莱的首都是斯里巴加湾市”)和资源记忆(如维基百科页面链接)。
  • 输出:将蒸馏后的简洁结果插入到规划器的推理链中。


第五步:规划、执行、反馈的循环(关键所在)


  1. 规划器接收反馈并继续:规划器的上下文现在是:“好的,我已经有了国家和首都的列表。下一步是计算距离。”
  2. 生成第二个子任务:规划器生成新指令:<begin_call_subtask> 编写Python代码,利用维基百科API获取这些首都的地理坐标,然后计算距离。 <end_call_subtask>
  3. 协调员再次调度:协调员接收任务,分析后判断需要**计算推理代理 (Computational Reasoning Agent)**,并委派任务。
  4. 执行器(代码代理)的尝试与失败:代码代理执行代码,但因缅甸首都名称不匹配而返回了错误的结果。它将完整的执行日志(包括代码、错误信息)返回给协调员。
  5. 协调员提炼失败信息:协调员分析日志,蒸馏出信息:“代码计算出错,可能是由于缅甸首都名称不匹配。”
  6. 规划器的动态纠错:规划器收到带有“可能存在问题”的反馈,意识到问题的根源,并展现了反思和纠错能力。
  7. 生成纠错子任务:规划器生成新的、针对性的子任务:<begin_call_subtask> 再次确认缅甸首都的正确拼写。 <end_call_subtask>
  8. 新一轮循环:这个任务再次被协调员分配给搜索代理,返回了正确的拼写。
  9. 最终执行:规划器最后一次调用代码代理,并明确指示使用正确的首都名称。这次,代码代理成功执行,并返回了正确的结果。


第六步:生成最终答案


  • 输入:规划器接收到最终的、确认无误的计算结果。
  • 整合与输出:规划器综合所有信息,按照用户要求的格式生成最终答案:“Indonesia, Myanmar”。


通过这个流程,我们可以看到,HiRA是一个动态的、可反思的、具备纠错能力的闭环系统。协调员的“信息蒸馏”功能至关重要,它屏蔽了执行层的噪音,让规划器能始终保持在战略层面进行清晰的思考和调整。


第四阶段:实验设计与验证分析


主实验:核心论点的验证


  • 核心主张:HiRA的“规划与执行解耦”分层架构,在处理复杂深度搜索任务时,比单一模型或简单流水线方法更有效。
  • 实验设置数据集:选择了GAIA(复杂多步推理)、WebWalkerQA(网页导航)、SimpleQA(事实问答)、Humanity's Last Exam(高难度学术问题)等多样化数据集,确保了评估的全面性。评价指标:采用LLM-as-Judge计算准确率,这对于开放式问答是公平且有效的评估方式。
  • 基线方法:涵盖了直接推理(如GPT-4o)、单能力增强(如WebThinker)和多能力推理(如ReAct)三类,对比全面且有针对性。
  • 实验结论:从Table 1的结果来看,HiRA在所有数据集上,尤其是在最复杂的GAIA和HLE上,都取得了全方位领先的成绩,强有力地支撑了论文的核心论点。


消融实验:内部组件的贡献


通过在Table 2中逐个移除HiRA的关键模块,实验证明了:


  • 移除推理传输:性能大幅下降,证明协调员的智能任务分配不可或缺。
  • 移除记忆机制:性能有所下降,尤其在文件处理任务上,证明知识积累和复用至关重要。
  • 移除搜索能力:性能灾难性暴跌,证明信息获取是解决问题的基石。
  • 移除代码能力:在需要计算的任务上性能显著受损,证明计算能力的必要性。


这些结果清晰地表明,HiRA的每一个核心组件都对最终的卓越性能做出了关键且不可替代的贡献


深度实验:方法的内在特性


  • **元规划器泛化性与效率分析 (Figure 3)**:
  • 结论:实验表明,即使不了解手下专家的具体能力,规划器依然能做出良好规划,证明了HiRA强大的解耦性。同时,实验也揭示了推理深度和效率之间存在一个可以优化的平衡点


  • **多维度能力分析 (Figure 4)**:
  • 结论:HiRA在网页浏览、多模态、文件处理等所有维度上都表现出色,尤其在需要协调多种复杂能力时,优势更加明显,远超ReAct等基线。


  • **效率分析 (Figure 5)**:结论:一个亮眼的发现是,尽管HiRA架构更复杂,但它完成任务所需的推理token更少,交互次数也更少。这说明HiRA用“架构的智慧”换取了“推理的效率”。


  • **案例研究 (Case Study - Table 3)**:
  • 结论:案例生动地展示了HiRA的反思与自我纠错能力。当系统遇到错误时,它能够识别问题、生成纠错子任务并最终解决问题,这种鲁棒性是其设计的巨大优势。



文章来自公众号“沈公子今天读什么”

关键词: AI , 模型训练 , RAG , 搜索增强
AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
AI工作流

【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!

项目地址:https://github.com/coze-dev/coze-studio


【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/付费

3
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

4
知识库

【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。

项目地址:https://github.com/labring/FastGPT

5
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

6
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/

7
免费使用GPT-4o

【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。

在线使用:https://ffa.chat/