深度｜六角未来HexaShell登顶RoboDojo-Agent榜单：让Coding Agent从使用工具到迭代与创造工具

近期，六角未来沿着 Physical Coding 的思路，进一步构建了 HexaShell-Preview。根据官方评测结果，在 RoboDojo 全部 42 项任务上，HexaShell-Preview 取得了 46.9% 的成功率、53.2 的进度得分，成功率高出第二名 7.5 个百分点，领跑 RoboDojo-Agent 榜单。

这项工作的主要思路是尽可能简化 Harness，让模型最大化发挥能力：让 Coding Agent 自动调用和编写工具,再根据执行反馈编写或修改工具，使行动方法能够在实践中不断改进。六角未来在论文《HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents》中介绍了这一方法及其评测结果。

01 让智能体自主构建并改进求解能力

编程能把对问题的理解写成可以运行、检验和修改的程序。进入物理世界后，程序还会影响机器如何观察、如何行动，以及任务能否完成。

人解决问题也离不开实践：提出办法，动手尝试，再根据结果调整。六角未来想探索的是：AI 能否在执行物理任务的过程中，自己写出并改进有用的工具？

HexaShell-Preview 做了初步尝试。Coding Agent 调用工具执行任务；遇到失败，就回看记录、定位原因，编写新工具或修改已有工具，并在后续执行中检验效果。通过检验的工具会保留下来，供后续任务继续使用。

于是，行动的方法本身成为智能体可以自省和改变的对象。

02 HexaShell的设计思路

（1）极简但精准的 Harness：最大化发挥模型潜力

过去，机器人系统往往围绕模型搭建层层框架：手写技能库、专用感知模块，以及为每项任务定制逻辑。六角未来认为，对足够强的 Coding Agent 而言，这些预设反而可能抑制模型已有的理解、规划和编程能力，甚至限制它探索更有效的解法。

HexaShell-Preview 选择把 Harness 的能力集中在连接、执行和反馈上：通过统一接口控制机器人，并返回三路 RGB 画面、机械臂状态和执行结果。执行智能体和优化智能体相互配合，结合相机标定信息与接口说明，自行判断任务、编写工具、运行测试、自主迭代。

Harness 的价值，是让模型能够可靠地作用于物理世界，而不是替模型决定如何完成任务。

（2）两个 Agent 分工，把经验留在代码里

执行智能体负责完成任务。如果失败，同一模型的优化智能体读取这一局的完整记录，包括每条命令、每帧画面和对话，定位原因，修改或新写工具并补充测试，再让同一布局重新执行来验证。任务所需的专用逻辑由 Agent 自己写出、自己修好，沉淀为可复用、可检验的代码。

（3）Sim to Real：让同一套工具可复用

感知工具以 RGB 图像、相机标定参数和机械臂状态为输入，且这些输入在仿真与真机之间保持一致，因此感知模块可以迁移到真机使用。

执行工具根据当前观测实时重新定位目标并计算动作，能够适应环境布局的变化，从而免去针对新场景或真机重新编排流程的工作。

这也正是该技术路线的核心优势：模型能力提升后，新获得的能力可以通过同一套物理交互接口直接转化为新的执行能力。

03 HexaShell 的工作机制

（1）让 Agent 自己写工具、改工具

HexaShell-Preview 由一套轻量 Harness、可复用的工具库和工具迭代循环组成。Harness 通过统一的 robo 命令行接口连接机器人：接收命令、校验并转换为运动，同时返回三路 RGB 画面、机器人状态和执行反馈。

HexaShell-Preview 通过 robo 接口定义了 9 条基础工具，覆盖观察、手臂运动、夹爪控制，以及等待与回合结束等4类。在此基础上，Agent根据任务自己组合、迭代出新的更高层工具，进而构建并改进解决任务的方法。

两个 Coding Agent：

• 执行智能体（Acting Agent）——用当前工具尝试任务：执行智能体读取头部和两侧腕部相机的 RGB 画面、夹爪位姿与执行反馈，选择目标并调用当前工具，尝试完成任务。
• 优化智能体（Optimizer Agent）——根据失败改进工具：任务失败后，优化智能体结合命令记录、相机画面、执行轨迹和当前工具代码诊断问题，编写或修改工具。

执行任务时，执行智能体根据目标和实时观察，调用基础命令及已有工具，完成“观察—行动—检查结果”的循环。工具是可调用的代码，例如结合相机标定和多视角图像测量物体位置，再据此完成操作。

如果任务失败，优化智能体会读取命令记录、相机画面、执行过程和现有工具代码，判断问题出在哪里，然后编写新工具或修改旧工具，并补充测试。修改通过检查后，系统用更新的工具重新尝试同一场景；有效的工具会保留下来，供后续任务使用。成功经验也会记录下来，帮助 Agent 更好地调用工具。

因此，HexaShell-Preview 的能力积累发生在可测试、可复用的工具代码中：任务执行产生反馈，反馈推动工具改进，改进后的工具再接受新场景检验。这一过程不需要新增示教数据，也不更新基础模型权重。

（2）从图像到动作：用几何关系确定位置

要把 Coding Agent 的能力带入机器人操作中，一个关键难点是把图像中的像素转化为动作需要的空间位置。Agent 能够通过相机看到物体，但精准的抓取和放置需要可靠的三维坐标。

HexaShell-Preview 采用的分工是：让模型选目标，代码量位置。Agent 通过图像选择动作目标后，让工具基于相机标定参数，通过几何测量计算物体的三维坐标；当单视角不足以准确定位时，机器人再移动腕部相机获取第二视角。机器人配有头部与左右腕部三个相机，可从不同角度观察同一目标。模型在图像上选定目标像素后，工具结合相机标定参数，将该像素反投影为空间中的一条射线。

要确定目标的三维位置，还需要更多约束。HexaShell-Preview主要采用两种方式：

• 利用平面高度。工具先测得桌面或物体表面的高度，再计算相机射线与该平面的交点，反推目标位置。
• 双视角三角测量。当两个相机观测到同一点时，由两条射线交会计算三维坐标。对应点既可由模型直接指定，也可由工具内的图像处理匹配。

04 HexaShell 在 RoboDojo 上的评测结果

根据 RoboDojo 官方评测结果：在全部 42 项任务上，HexaShell-Preview 各接受了 50 个回合的评测，覆盖抓放、插入、倾倒等机器人操作。

（1）整体表现

HexaShell-Preview 取得了46.9% 的成功率和 53.2 的进度得分，在论文记录的 RoboDojo-Agent 榜单中位列第一，成功率领先第二名 7.5%。

（2）分任务表现

按任务类型来看，HexaShell-Preview 在 Memory 和 Open 两类任务上均位列第一，成功率分别达到 81.0% 和 55.3%，较榜单第二名分别高出 17.3% 和 7.8%。

HexaShell-Preview 在 Memory 和 Open 任务上的优势，来自模型判断与工具积累的配合。Agent 负责读懂场景、利用先前观察并决定下一步；工具把目标定位和操作方法写成可反复调用的代码，失败后还能根据记录修复。Memory 任务需要用好历史信息；Open 的 8 项任务虽没有专属工具，Agent 仍能按现场情况组合此前积累的工具。

（3）杂乱环境下的鲁棒性

RoboDojo 的 Generalization 类任务分为整洁布局与杂乱布局，杂乱布局会在桌面上额外加入 13–18 个干扰物。评测显示，HexaShell-Preview 保留了约 82% 的整洁场景成功率，明显高于榜单中的学习式策略。

05 结论与探索

今天，AI 已经能够使用人类积累的工具：通过语言理解需求，通过数学描述问题，通过代码构建解决方法。

一个更进一步的问题是：AI 能否参与这些工具本身的演化——从改进算法与软件，到探索新的表达方式、数学抽象和物理装置，让人和其他 AI 能够在此基础上解决更多问题？ 当新的工具又能被用于创造下一代工具，能力的扩展就有机会形成持续积累的循环。

HexaShell-Preview 是对这一过程向物理世界延伸的一次初步探索。Agent 使用工具采取行动，也根据执行反馈编写和修改工具，让改进保留在可复用、可检验的代码中。

这也指向六角未来接下来希望建立的循环：真实应用暴露能力缺口，推动工具迭代；经过验证的执行与纠错轨迹沉淀为训练数据，进一步强化模型；更强的模型再去解决更难的问题、构建更好的工具。

每次应用积累的经验，都有机会成为下一次探索的起点，让应用、工具与模型共同进化。更深远的价值，在于这些工具能被理解、复用与扩展，支持创造者未曾预设的新用途，让一次创造成为更多创造的起点。

这就是六角未来的期待：AI 能够帮助更多人把“我有一个想法”，变成“我可以让它发生”，并在持续的实践中，创造出超越最初设想的可能。

文章相关信息：

Paper：https://arxiv.org/abs/2610.23479

Blog：https://hexafuture.ai/blog/hexashell

GitHub：https://github.com/HexaFuture/HexaShell

https://robodojo-benchmark.com/leaderboard#news

文章来自于"Z Potentials"，作者 "Z Potentials"。