Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题
8050点击    2026-11-19 14:49

编程智能体已经能在数字世界完成复杂任务。


借助编程接口,它们也可以指挥物理世界中的机器人。


但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。


于是有一个基础问题:


通用编程智能体能完成哪些机器人任务?在哪些物理约束下能完成?又会在哪里失败?


为回答这个问题,西北大学、卡内基梅隆大学等8所高校的研究者提出了Embodied First Exam(EFE,具身第一考):一个把各种编程智能体接入仿真机器人的统一评测框架。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图1|EFE 总览:任务规模、运行命令与三种模式


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

论文链接:https://arxiv.org/abs/2611.12177

网站与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai

代码:https://github.com/mll-lab-nu/embodied-first-exam

视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data


这项工作有四项贡献:


  • 一套统一考卷:规模大、种类多、难度高。 1156个任务、47种机器人,远不止桌面抓取放置;最强的编程智能体在456项标准模式核心测试上也只解出一半。
  • 三种评测模式,量出离真机还有多远。 在同一批391个核心任务上,最强者在特权模式(读取完整仿真状态、不限次重置)下解出80%,在标准模式(只靠传感器、默认不能重置)下只有47%。
  • 统一的基础设施。 一条命令即可开考,换模型、换智能体框架只需改两个参数;怎么控制机器人由智能体自己决定:直接下指令、编写控制程序,或者训练策略。
  • 系统分析:不只给分数,还找原因。 对GPT-6 Astra的对照实验中,补上重置比补上精确状态更管用:看得准,不等于做得准;逐阶段标注10个智能体的6027次失败,不同智能体常常败在同一步;足球任务中,有GPU和训练库时,智能体多会自己训练策略。


统一考卷


规模。EFE包含1156个任务、2288项测试(一个任务在一种模式下考一次,算一项测试),覆盖35个任务集、23个仿真器和47种机器人。机器人分为8类:单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器和肌肉骨骼模型。


多样性。除了改编自已有基准的26个任务集,团队新建了9个任务集、411个任务,覆盖桌面抓取放置之外的能力:解绳结、组装宜家家具、用灵巧手翻书、用画笔临摹画作;接住抛来的球,打完一整场乒乓球或击剑比赛;只凭一张完成后的目标画面完成任务;识别并拒绝危险请求;把控制器部署到动力学未知的仿真器上。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 2|9 个新建任务集与 26 个改编任务集


例如,在标准模式下,GPT-6 Astra只凭传感器读数控制人形机器人打乒乓球,以5比2赢下整场比赛:


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题


易用性。 所有任务用同一种格式打包,各家智能体框架(harness)无需改动即可接入。一条命令即可开考:


harbor run -d embodied-first-exam -a codex -m openai/gpt-6-astra


换智能体框架或模型,只需改-a和-m两个参数,例如换成Claude Code中的Claude Opus 5.5:


harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus-5-5


每次尝试的日志都在网站公开,大多可以逐步回放。


难度。 团队选出456个高难度任务作为核心集,排除了简单任务和初筛模型已解出的任务,评测10个智能体,每项测试运行一次。在456项标准模式核心测试上,最强的Claude Fable 5.2(Claude Code)解出50%,GPT-6 Astra(Codex)为34%,GPT-6.1 Sol(Codex)为32%,Claude Opus 5.5和Gemini 4 Argon分别为25%和24%,Kimi 3.1 Pro为10%,其余四个都不到7%。


实时模式更难:在54个同时考标准和实时两种模式的任务上,实时模式下近一半(46%)的测试无人解出,标准模式下这一比例是35%。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图3|10个智能体在核心集上的成功率,括号内为解出数


闭卷时,没有通吃的赢家


最强的也只解出一半,剩下的题谁能解?


下图把每一次尝试都画了出来:每行是一个智能体,每列是一项测试;灰到黑的格为解出(越深花费越高),最浅的底色为失败。上半部分是标准模式,下半部分是特权模式。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试


标准模式的456项测试中,169项没有任何智能体解出。其余的题,也没有哪个智能体能全部包揽:另外四个强智能体合计解出了60项Claude Fable 5.2没有解出的测试。


例如,GPT-6 Astra解出的157项里,有39项Claude Fable 5.2没有解出,其中一半以上来自安全判断(Embodied Safety Exam)、家务(BEHAVIOR-1K)和绘画(RoboPaint)三个任务集;


Claude Opus 5.5解出的114项里,有46项GPT-6 Astra没有解出,其中不少是搬运物体的任务。题目足够多样,即使最强的智能体,也有别人能解而它解不了的题。


特权模式下,各智能体解出的题大多重合:391项测试中只有43项无人解出,Claude Fable 5.2一个就解出了所有已解测试的89%。每项测试只运行一次,上面的差别有一部分可能来自运行之间的波动:GPT-6.1 Sol一次运行解出的标准模式测试,再运行一次只能解出其中的56%至70%。


同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么?


三种评测模式

同一批任务,80%降到47%


同一个任务最多有三种考法,从开卷到闭卷逐级收紧:


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 5|三种模式下智能体可获取的信息与评分方式


  • 特权模式(Privileged):读取完整的仿真状态,不限次重置,可以反复试错,相当于开卷考试。成功率可看作近似上限。
  • 标准模式(Standard):只有传感器观测,默认不能重置,相当于闭卷考试,对应真实机器人的条件。
  • 实时模式(Realtime):在标准模式基础上,智能体思考时环境照常运行。


三种模式下,评分程序都运行在智能体无法干预的地方。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 6|391 个同时有两种模式的核心任务:各智能体在哪种模式下解出


在这391个任务上,Claude Fable 5.2特权模式解出311个(80%),标准模式只解出47%。特权模式解出的311个任务中,有136个换到标准模式后失败。


需要精确对准的步骤,换到标准模式后最容易出错。例如,Claude Opus 5.5给风扇装前罩:特权模式下,它把前罩对正装上,偏差0度;


标准模式下,它把前罩举在偏离风扇轴线36至39度的位置,而安装只允许5度偏差,继续往里推,整个风扇都被推动了。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,下为标准模式,红色标出出错处


系统分析

差距从哪来,败在哪一步


成绩只说明做没做到。EFE还逐项分析了原因:差距从哪来,失败发生在哪一步,智能体会不会换一种做法。


差距从哪来:看得准,不等于做得准


标准模式比特权模式少了两样东西:所有物体的精确状态,以及不限次重置。哪一样更关键?团队以GPT-6 Astra为对象做了对照实验,每种条件运行一次。它在这391个任务上的差距比Claude Fable 5.2更大:特权模式为79%,不补任何能力时只有29%(341个任务按标准模式、50个按实时模式考,和第一节的34%不是同一个分母)。


团队在标准模式的接口上为它逐项补回特权模式的能力:补上精确状态,升到45%;补上不限次重置,升到53%;两者都补,达到68%,接近特权模式的79%。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 8|左:GPT-6 Astra 逐项补回特权能力后的成功率;中:各类阶段在特权和标准模式下的失败率;右:GPT-6 Astra 基线运行中失败的测试,按失败阶段分为精细(黑)和粗略(灰),各条件下解出的比例;第一行是对照,不补能力,只是再考一次


补上精确状态,等于让它看得准;补上重置,等于让它能反复试。后者更管用:有了重置,三分之二(66%)的成功来自从中途存档处重新开始的回合,智能体只重试难的那一段,不必从头再来。


按失败阶段分开看(图8右),差别更明显:败在抓取、放置等粗略阶段的测试,补上精确状态就多解出不少;败在组装、对准位姿等精细阶段的,补上精确状态几乎没有帮助,补上重置才明显有用。看得准,不等于做得准。


败在哪一步:不同智能体,常常败在同一步


做不准,具体卡在哪一步?EFE把427个核心任务拆成阶段,每个阶段是任务要求的一项环境变化,例如「番茄放进冰箱」。团队用编程智能体标注了10个智能体的6027次失败尝试,找出每次失败发生在哪个阶段。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 9|左:失败阶段的集中程度;右:各类阶段一旦到达后的失败率


最有启发的发现有两项:


  • 失败往往集中:换智能体、换模式,常常败在同一个阶段。只看五个强智能体:标准模式下,同一项测试里不同智能体的两次失败,平均55%落在同一阶段;如果失败阶段随机分布,只有30%。这个阶段常常就是任务的第一个阶段;但排除两种模式都败在第一阶段的任务后,仍有59%的任务在两种模式下最常见的失败阶段相同;随机分布时只有9%。
  • 改变物体本身、让机器人自己移动的阶段最难。 擦拭等材料类阶段一旦到达,失败率为56%;行走等身体类阶段为39%;开门等机构类阶段为17%。这些类别多集中在特定任务集和机器人上,因此这组数字还不能说明类别本身导致了失败。


换一种做法:足球任务里,给了GPU,智能体多会自己训练策略


做不准的时候,智能体会不会换一种做法?EFE不规定控制方式。智能体可以直接控制:发一小段动作,看一眼画面,再决定下一步;也可以编写控制程序,或者训练策略;还可以混合使用。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 10|三种控制方式及混合示例,各附智能体的一段命令或代码


平时,智能体很少训练策略;但条件具备时,它们会主动训练。


足球任务有两个版本,场景和对手相同,智能体都要逐关节控制两个人形机器人。GPU版另外提供GPU、强化学习库、一份能在GPU上运行的训练用比赛环境,并在说明中给出一段训练示例;CPU版都没有。


标准和实时模式下,GPU版的28次尝试中有25次用强化学习训练了策略,赢下的8场比赛全部来自训练出的策略;CPU版的28次尝试中只有1次训练了策略,智能体多手写步态,只赢了1场,是平局后的点球大战。


以标准模式下的GPT-6 Astra为例:有GPU时,它训练行走和控球策略,以10比8获胜;只有CPU时,它手写步态,机器人摔倒59次,以3比13提前落败。这些次数里有智能体框架对比实验的运行,所以有的模型不止出现一次;两个版本也同时在多处不同,仅凭这一项任务,还不能确定是哪一处差别起了作用。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 11|足球任务中的 GPT-6 Astra(标准模式):上为有 GPU,训练策略后 10 比 8 获胜;下为只有 CPU,手写步态,3 比 13 提前落败


从仿真到真机:穿环过线


仿真之外呢?标准模式只给智能体传感器读数和控制接口,同样的接口也能接到真实机器人上。团队让GPT-6 Astra和Claude Opus 5.5通过离散命令(上下左右平移、左右旋转)控制一台真实机械臂,玩穿环过线游戏:机械臂夹着金属环,沿一根弯曲的金属丝从一端走到另一端;环一碰到金属丝,灯亮、蜂鸣器响,本次失败。


Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

图 12|真实机械臂上的穿环过线。左:上排 GPT-6 Astra,下排 Claude Opus 5.5;右:两个智能体各 8 次尝试的完成进度


每个智能体连续玩8次。前4次的平均进度,GPT-6 Astra约为65%,Claude Opus 5.5约为35%;后4次分别升到约94%和63%。GPT-6 Astra每一次都高于Claude Opus 5.5,并在第7、8次走完了全程。这项演示只有一个任务、每个智能体一组尝试,没有评分程序,不计入考试成绩。


局限与下一步


每项测试只运行一次;大部分阶段标签由GPT-6.1 Sol标注,它本身也是受测智能体,标注了自己的尝试,且与GPT-6 Astra同属一个系列;除真机演示外,结果都来自仿真;改编自公开基准的任务,部分成绩可能来自模型记住的公开解法。


团队计划多次重复运行核心测试并给出置信区间,增加实时任务,并通过标准模式的接口,在真实机器人上系统评测。


能读取完整状态、不限次重置时,最强的编程智能体已能解出八成难题;换成真实机器人的条件,就不到一半。在GPT-6 Astra的对照实验中,补上重置比补上精确状态更能缩小差距,而真实机器人恰恰很难随时重置。


参考资料:

https://arxiv.org/abs/2611.12177


文章来自于"新智元",作者 "LRST"。

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md