机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架
8604点击    2026-11-07 14:48

把一盒奶酪放到架子上,目标很明确,机器人却需要将定位、抓取、搬运和释放衔接起来。


怎样判断物体已经抓稳、什么时候开始搬运、第一次尝试失败后如何继续,都需要落实为具体的技能和决策逻辑。


那么,能不能将这部分工作交给机器人自己,让它自己做实验、改代码,逐步积累经验、完成任务?


来自清华大学和新加坡国立大学的研究团队提出并开源了VISTA。它将实验与开发的工作交给Meta-agent,让它通过主动探索获取新证据并改进Harness。


整套流程不需要更新权重。在底层模型参数保持固定的情况下,VISTA将LIBERO-Pro的整体任务成功率从17.5%提升到了95.0%。


机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架


将Harness作为演化对象


具身Agent可以使用学习策略、运动规划、反馈控制和感知工具。Harness负责组织这些能力:向模型提供什么指令,开放哪些技能,如何调用工具,以及怎样处理执行反馈。技能代码、调用逻辑和持久记忆,都属于可以开发的内容。


在VISTA中,执行Agent使用Harness完成任务;作为开发者的Meta-agent则检查代码与运行记录,编写或修改技能,再验证候选版本。比如,它可以把定位、学习策略完成的抓取、控制器执行的搬运组合成一个新技能,供执行Agent调用。改进因此能够跨轮保留下来。


机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架


△VISTA概览。Meta-agent通过环境交互和代码开发改进Harness。


Meta-agent如何开发Harness


每轮开发从一个已有的Harness版本及其执行记录开始。Meta-agent检查代码,对照观测、动作和任务结果,找出需要改进的行为,并提出具体的修改思路。


围绕这些问题,它修改技能、指令或决策逻辑。如果已有记录不足以判断,就进入仿真环境进行观察和操作,获取补充证据。开发期间还可以运行自主测试,根据执行结果继续调整候选版本。


提交后,候选Harness被冻结,在预设任务条件下接受新的自主执行评估。Meta-agent不参与评估中的执行;只有结果优于当前采用的版本,候选才会替代它。开发时尝试的做法,由此接受实际任务表现的检验。


代码版本、继承关系和对应证据共同保存在Harness图中。下一轮可以继续完善有效版本,也可以回到较早节点尝试其他方向,复用此前开发的机制。一次修改所获得的技能和经验,因此能成为后续开发的基础。


一个Harness如何逐轮改进


以一个任务举例,任务要求机器人把奶油奶酪盒放到架子上。初始Harness在该任务的16次开发评估中全部失败。


第一轮开发中,Meta-agent为这个任务构建了明确的搬运与释放流程:先确认物体已经抬起,再执行搬运;抓取未成功时,重新定位物体,并在限定次数内重试。这些修改被写入Harness,提交版本的成功数提高到9/16。


第二轮保留了已经有效的流程,继续分析剩余失败。执行记录暴露出一个具体问题:抬升位移的计算起点与实际抓取接触阶段不一致,影响了对抓取状态的判断。修改后的代码沿连续闭合接触阶段计算位移,接触丢失时重置证据,同时调整释放行为。新版本达到16/16,随后同一版本再次评估,也取得了16/16。


机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架


△技能开发过程。


这个过程留下了可继续开发的技能:搬运、释放和有限重试先被保留下来,后续版本再完善其中的状态判断。每轮开发都有具体的代码和执行结果作为下一轮的起点。


Harness演化的实验效果


实验覆盖LIBERO、RoboCasa和RoboTwin。下表比较初始Harness与各任务选定的演化版本的成功率。评估时固定Harness代码,由执行Agent自主完成任务。


LIBERO-T和LIBERO-S的平均成功率分别从22.8%、12.2%提升至96.6%、93.4%;RoboTwin的50个任务从48.5%提升至74.0%。在RoboCasa的多阶段任务中,Seen和Unseen的成功率分别从16.4%、4.7%提升至24.2%、13.3%。


机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架


逐轮结果把整体提升展开到了具体任务。Goal-T的十个任务中,有八个在前三轮开发中就出现了16/16的评估结果。不同任务的开发节奏仍有明显差异,后续候选的表现也可能发生波动,需要通过评估决定保留哪个版本。


机器人自己写代码修自己,成功率从17.5%涨到95%:具身智能有了不动权重的自进化框架


△LIBERO Goal-T的逐轮结果。


走向具身智能体的递归自进化


模型训练完成,机器人的能力也不必就此定型。VISTA让Coding Agent持续开发Harness,把执行中获得的经验转化为后续版本可以继承的技能。当前的仿真实验表明,这种开发能够在模型参数不变的情况下带来实际提升。更进一步,我们希望机器人在真实环境中也能逐渐承担这部分工作:根据任务经验开发、验证和完善自己的技能,让能力的增长延续到部署之后。


项目主页:https://agenticei.github.io/VISTA-page/

论文链接:https://arxiv.org/abs/2610.35051

代码仓库:https://github.com/AgenticEI/VISTA


文章来自于微信公众号 “量子位”,作者 “量子位”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md