Z Potentials | 不造本体、不刷榜、不讲架构,00后创始人用工程师文化跑出具身的Scaling曲线

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Z Potentials | 不造本体、不刷榜、不讲架构,00后创始人用工程师文化跑出具身的Scaling曲线
6097点击    2026-10-27 14:01

Z Potentials | 不造本体、不刷榜、不讲架构,00后创始人用工程师文化跑出具身的Scaling曲线


推荐语


具身智能不缺钱,也不缺演示,真正稀缺的是一条能复现的 Scaling 曲线。去年 11月,北美的 Generalist 发布 GEN-0,称首次在机器人身上观察到了这条曲线:预训练数据和算力越多,模型在下游任务上的表现就越稳定、可预测地提升。支撑这条曲线的,是超过 27 万小时的真实世界操作数据,和每周新增上万小时的采集速度。对绝大多数公司来说,曲线已经有人跑出来了,燃料却还没有。


燃料从哪来,行业也开始有了线索。今年 4 月,Generalist 发布 GEN-1,披露其基础模型预训练没有使用机器人数据,用的是人戴着低成本穿戴设备采到的数据。人类数据由此被推到台前。但要让它真正成为燃料,前提是能用起来。行业里更多的人类数据散落在各处,设备不同,视角不同,格式不同,谁也用不了谁的。


把这些“用不上”的人类数据变得能用,是行元智能押下的第一注。


创始人杨世琦是一位卷发的 00 后,语速极快,思维更快。人类数据成为行业共识之前,他已经把它当主线做了快两年。在 UCSD 王小龙组读研时,他做跨本体操作;2025 年 3 月,他作为共同第一作者参与的论文《Humanoid Policy ~ Human Policy》,是较早把第一视角人类数据和人形机器人数据放在一起训练的工作之一。


行业里最流行的说法,是把人类数据当成真机数据的便宜版本。他最不认同的就是这一点。在他看来,人类数据里有遥操作采不到的东西:人的意图,长程任务的结构,还有被采集效率筛掉的边界情况。他的说法是:Human data is latent robot data。


所以行元不画数据金字塔,把不同来源的数据都编译进同一套人类表征,真机数据也不例外。这次发布的 Chorus(众行),是这个判断第一次做出成品:一款兼容多种异构数据的机器人跨本体数据引擎。


行元的测算是,经过 Chorus 处理,1 小时人类数据可以转化为约 40 个训练样本等效小时。


杨世琦也不喜欢被归进 neolab。前沿探索和模型设计他都在做,但更多精力放在系统设计上:把数据、模型、硬件和部署连成一个能在真实世界里运转、持续学习的系统。所以他更像一个超级工程师,既要探技术的边界,也要碰硬件,啃部署里最脏、最琐碎的问题。


行元的工程师文化落在几个完整的选择上:数据管线 7 天迭代一版,新本体 3 天接入,数据池子够大之前不刷榜。它也在做减法:不造本体,模型研发只做 10 赫兹以上的 System 1;模型做到 70 分就上岗,出错由人接管,每一次纠正都回流成训练数据。在这套系统里,部署本身就是学习的一部分。他反复追问的只有两件事:数据能被复用多少次,模型多久能迭代一轮。


四位联创的分工覆盖数据、模型、训练基础设施和机器人系统。杨世琦更侧重系统设计,把训练、部署和数据回流串成一个闭环,让模型在真实场景里边干活、边学习、边迭代。这支团队给出的时间表很有野心:明年年中,内部模型追平北美头部公司同时期的水平。杨世琦的理由很直接:具身的技术窗口只有三到五年,三年之后大概就是小修小补了。


这条路比讲故事慢,也比讲故事难。但在一个窗口期只有几年的赛道里,比的不是谁更聪明,而是谁迭代得更快。


这是行元智能第一次系统性地对外发声。以下是我们和杨世琦的对话。


01 具身智能缺的不是模型,是一条Scaling曲线


ZP:用最直白的话说,行元在做什么?


杨世琦:其实从“行元”这个名字就能看出来我们想做什么。


语言模型以 Token(词元)为基本单元来理解和生成语言。但机器人不一样,机器人最终是要在真实世界里做事情的,所以我们想到了 Action,也就是“行动”。行元对应的就是“Action Token”,我们希望未来能够真正定义机器人的 Action Token,让机器人像语言模型学习语言一样,能够学习和理解人类的行动,并最终在物理世界中自主行动。


而技术上的关键词是 Scaling。机器人之所以要把 Scaling 放到这么靠前,是因为它现在还规模化不起来。我们给的解法是人。


为什么是人?第一,和我个人的经历有关,我是比较早开始做跨本体研究的一批人。从机器人学习的角度看,人和机器人在完成操作任务时有很多相似之处,可以把人看作一种特殊的本体。第二,Scaling 需要燃料。大语言模型发展得快,是因为有互联网,机器人没有这样自然积累的数据来源。而人每天都在做操作,把这些经验转化为机器人能学的数据,就是最自然的切入点。


ZP:反过来看,具身行业的哪些努力,一开始就很难通向 Scaling?


杨世琦:有两类:一类是方向选错了,一类是顺序排错了。


先说方向。做 Scaling,第一个问题不是模型能学会什么,而是数据能不能大规模生产出来。能往模型里加的模态很多,可每多要一种,数据就更难生产一分。比如想做物体状态预测,就得有真值标注。小模型配上精细数据,效果一定好看。但这类数据很难大量拿到,拿到了也不一定准,到了真实部署更是根本监督不到。前几年仿真到真实的迁移,卡的也是这个:实验室里不缺数据,缺的是能与真实世界对齐的数据。要求越多,越难规模化。


再说顺序。今天把大量精力花在迭代模型架构上,或者不加约束地把模型放大,可能都不如先把基础设施做好。这个行业没有公认的评测基准,数据该看哪些指标,大家也没对齐过。没有尺子,模型就没法迭代,数据也没法复用。用一次就作废的数据,是纯浪费。


所以要先从机器人真实干活的需求出发,把指标和数据标准定义清楚:什么数据值得收,收进来怎么用,后续迭代中能复用多少次。有了这些,模型迭代才能持续积累。


ZP:所以你们的北极星是 Scaling 效率,拆开就是数据复用程度和模型迭代速度。但先做基础设施,头一年注定会慢,这个代价值得吗?


杨世琦:值得。先迭代模型,在 3 到 6 个月的尺度上最舒服;做基础设施,舒服的尺度可能是一年,头一年会慢一些。这是品味的选择,但区别在于,基础设施一旦转起来就会越来越快。


一开始,几个聪明人确实能把一件事做好。但拉长到几年,比的是谁能持续跑得快。如果你五个月迭代一次,别人一个月迭代十次,这样持续几年,积累下来的差距就很难靠聪明追回来了。


自动驾驶就是个参照。后来几条路线的差异确实变模糊了,但投入同样的资源,先把体系跑起来的公司还是跑得更好。对创业公司来说,我们要做的就是在每个能接受的时间尺度上做到最快、最好。


ZP:先做基础设施的判断是从哪里来的?你们算基础设施派吗?


杨世琦:这谈不上派系,更多是风格选择。原因有两个:一是我们自己的经历和品味,二是已经有成功的先例。


北美大多数团队的品味是系统先行。具身很难只靠一个聪明的点子取胜,更多是把重要的、能快速接入的东西组合起来,自上而下地调优整个系统。从这个视角更容易把有用的东西拉进来,开始做 Scaling。回看机器人学习的发展,很多突破也不是什么大突破,都是在数据和模型上一点点往上加,π(Physical Intelligence)也是这么一步步做过来的。这在北美是跑通了的,我们也受过这样的训练。


大语言模型这边,它已经从前沿学科变成了能变现的商业模式。不管是国外公司,还是国内的 Kimi、智谱,都很重基础设施。我们也相信基础设施在更长的路上一定能带来更多的效率提升。


ZP:为什么不自己造机器人本体?


杨世琦:首先,本体研发涉及供应链和硬件自研,这不是模型团队最擅长的事情。其次,自己造本体有可能拖慢模型迭代。硬件有自己的研发周期,而我们需要的是在每个阶段,拿到合适的本体验证模型。


所以我们保留了专门的嵌入式软件和硬件团队,做接入和适配,不做本体研发。在厂家提供正常可用的 SDK 的情况下,我们现在通常三天就能把一个新本体接入、调好。不同场景需要不同的本体,我们也希望按任务选择合适的硬件。这既能避免被自己的本体绑定,也会促使模型和数据体系更早面对跨本体的问题。


ZP: 除了不造本体,你们的基础模型也只做 System 1。System 1 和 System 2 分别指什么?为什么这么划分?


杨世琦:System 1 可以理解为负责实时感知和动作执行的快系统,System 2 是负责思考和规划的慢系统。


两者对频率的要求完全不一样。System 2 更接近长任务规划、记忆和长程信息理解,不需要高频。System 1 的频率至少要锁在 10 赫兹以上。我也不希望动作是半开环的,尤其遇到突发情况,反应超过 1 秒其实就是开环了。


所以在 System 2 上我们做减法,不重复投入,搭好 harness,把合作方的大模型能力接进我们的机器人系统。行元的定义是机器人基模公司,我们做的是 System 1 的基础模型。


ZP:落到具体发布上,行元把技术拆成了 Continuo、Chorus、Duet 三个篇章。为什么这么拆,三者是什么关系?


杨世琦: 这三个篇章其实讲的是同一件事:在今天这个阶段,机器人怎么做 Scaling 最有效,人又能在其中起到什么作用。


Continuo(随行)对应For Human,回答的是智能如何持续感知和理解人的日常经历,从而帮助人更好地进行记录和规划生活。它跑在 always-on 的设备上,做连续视频理解、记忆和持续重规划。Chorus(众行)对应 From Human,就是这次发布的,回答的是分散、异构的人类经验怎么变成不同本体都能学的数据:人类数据进去,机器人数据出来。Duet(同行)对应 With Human,回答的是模型还不完美的时候怎么部署,怎么从人的帮助里持续学习。它是我们的 Robot OS,机器人自己干活,出错由人接管,很快会发。


放在一起,就是 Infrastructure → Model → System 的飞轮。Continuo 和 Chorus 一起解决燃料问题:Continuo 管增量,让第一视角数据在日常生活里自然长出来;Chorus 管存量,把采集标准不统一的数据编译进同一套人类表征。Duet 把模型送进真实场景,人接管时产生的纠错数据再流回训练。所以这不是三条平行的业务线,三件事合起来,是连接 Model Scaling 和 Robot Deploy 最小的那个闭环。


Chorus 是这次的重点,可以先从它讲起。


02 Chorus:把稀缺的人类数据「扩容 40 倍」


ZP: 那就先说 Chorus。它能把 1 小时人类操作数据转化为约 40 个训练样本等效小时,这个效果是怎么做出来的?


杨世琦:行业还是缺数据,但缺数据的原因正在变:过去更多是原始数据不够,现在越来越多是数据有了,却用不起来。


今天数据厂商很多,开源社区里也有大量数据,可它们采集不规范,也没有统一指标。哪怕都是第一视角数据,彼此也很难通用。每家都在重复造轮子,这是最大的浪费。


过去的思路是限制采集:规定用什么设备、按什么流程采。我们反过来,把门槛降到最低,只要是第一视角、两只手在画面里,基本就能用。相机外参有更好,没有也行,脏数据交给模型去消化。所以我们专门训了一个高度自动化的数据管线,用来处理数据本身。以前是让人去迁就数据标准,现在是让模型去适应各种数据。


40 倍是这样算出来的。先做指令增广,同一段动作配上不同细粒度的语言指令,放大约 3 倍。再做跨本体适配,把这些数据适配到不同机器人身上,目前能再放大约 16 倍。适配效率大概是 85%,折算下来,3 × 16 × 0.85,大约就是 40 倍。这里的 16 倍只是现阶段的数字,主要取决于能适配多少种机器人。随着更多本体接入,这个倍数还会继续往上走。


说到底,Chorus 只做一件事:让同一份数据被用很多次。我们的 System 1 模型还要一段时间才发,但数据模型可以先走。先把燃料备足,再点火。


ZP:和业内现有的数据管线相比,Chorus 的核心优势是什么?


杨世琦:有三点。


第一是兼容性。智能眼镜、头戴相机、胸前相机、腕部相机、UMI,这些设备的视角、标定和尺度都不一样,Chorus 能把它们统一到同一个运动空间里。


第二,处理维度显著更多,比如我们会标注因果信息。一个 10 秒的任务,看上去后 5 秒更重要,前 5 秒没做什么实质的事,但前 5 秒同样会对后面产生因果影响。我们通过因果学习判断前 5 秒里哪些动作权重更高,就能更精细地筛选数据,知道模型的注意力该放在哪。


第三是稳定性。在我们内部测试中,处理后的人类数据映射到真机上,稳定性肉眼可见地好。


ZP:同样是解决数据问题,人类数据和遥操作、UMI 有什么本质区别?


杨世琦:是两种思路。一种是从当前效率最高的数据形式出发,比如遥操作,也就是人远程操控真机来采集数据。它能满足你对数据的几乎所有需求,所以到现在做后训练(在预训练模型基础上针对具体任务的训练)还要用。UMI(斯坦福等团队提出的手持夹爪采集方案,人拿着带相机的夹爪模仿机器人操作)是针对遥操作效率不够做的改良。有人把它归到人类数据,但实质上它更偏机器人数据,因为它没有解决数据来源的问题,数据还是要专门造出来。


另一种是反过来:先看世界上已经有哪些数据、哪种最接近我们需要的,再想办法迁移过来,这就是人类数据。所以在我的定义里,UMI 更接近遥操作,人类数据就是人类数据。它最大的要求是必须在日常生活中自然产生,我们要解决的是怎么把这些自然产生的数据用起来。


ZP:人类数据现在很热,你最不认同外界的哪种理解?


杨世琦:最不认同的,是把人类数据当成机器人数据的便宜版本。大家习惯排一个阶梯:机器人数据不够就用 UMI 解决,UMI 解决不了就上人类数据。但它们之间的区别其实很多。


第一是人的意图和习惯。机器人要进入日常生活,光把任务做完还不够,还得符合人的直觉和习惯。一段很长的任务,哪怕没多少动作标签也可能有用,因为你能看出这个人想干什么、习惯怎么做、怎么做才舒服。比如我们有位朋友,煎鸡蛋之前一定会先做清洗,没有这一步,他就不吃。主动采集通常按预设流程、追求单位时间效率,这类个人习惯很容易被漏掉。


第二是附带信息,也就是看似和任务无关的信息。预训练的时候,大家希望拿到一些看似不重要的信息,也许某次后训练就把某些动作能力激发出来了。人类数据能覆盖多广,我们根本无法预料。


所以人类数据能提供意图、更长程的信息,还有更多边界情况。有时候我们看着人类数据会想:机器人是不是也可以这么做?这是双向的:我们根据机器人的需求去找数据,也从人的生活里发现,机器人还可以学什么。做人类数据的出发点,从来不只是成本。


ZP:你们有一句话,“人类数据是潜在的机器人数据”(Human data is latent robot data),怎么理解?


杨世琦:有两层意思。第一,今天人和机器人本体差异还很大,机器人复现不了人的各种动作,所以人类数据不直接等于机器人数据。第二,"潜在"指的不一定是人的动作,也可能是人的意图,一个比较抽象的东西。总结一下,一个是意图,一个是怎么做。


今天人和机器人的本体差异还很大,人的很多动作,机器人做不到。 做演示时发现机器人不好做,大家就会把人的 SOP 改成一套适合机器人的。UMI 采集也一样,大家会先想机器人怎么做,再去行动。所以,如果只比动作能不能直接拿来用,人类数据往往不如机器人数据和 UMI 数据,因为后两者在采集的时候就已经考虑了机器人的限制。


但我们看重的不只有动作。人想干什么、习惯怎么做,还有整个任务里的长程信息,恰恰是我们需要的。动作上的差距,足够好的 action foundation model 可以通过 in-context learning 和指令遵循,结合少量后训练来补。预训练时引入机器人数据,也能进一步缩小这个差距。


这也是为什么 Chorus 不只处理人类数据,而是把所有数据,包括机器人数据,都转成人类数据的表示。在我们这里,人类数据是一种统一的表示方式。


ZP:主流公司常用数据金字塔解释数据构成,你们怎么看?


杨世琦:数据金字塔大概是这样:底层是海量但粗糙的互联网视频,中间是人类数据和 UMI,塔尖是少量昂贵的真机数据。大家都会画,学界也讲,但我们看到的效率最高的公司,没有一家是按金字塔处理数据的。Generalist 基本就是认准一种数据持续规模化;π 也会用其他来源的数据,但对它最重要的还是真机数据。


原因是管线很难面面俱到,不同来源用不同管线,后面会碰到很混乱的问题。所以我们先统一:来源可以变,表示方式就是人类数据这一套。我们设计了对应的人类表征,所有数据都要和它对齐。中间的差距靠人工标注或基于规则的方法处理不完,除了工程手段,还需要基于学习的方法,让数据贴近完整表征。某种程度上,我们只有一种数据表示,就是第一视角人类数据,这样管线才能不断迭代、扩大。


就算画金字塔,也不该按好不好采集来排,而要看能拿到哪些数据,以及增广之后、被模型吃掉之前,各类数据实际有多少。而且训练是有权重的,有的数据量少,但被用的次数多,实际占比反而更大。所以数据金字塔更像一种科普,对一家公司来说说不通。


ZP:一种声音认为,人类数据规模上来后,很多问题会被预训练自然消化;另一种认为,不做足够的对齐和筛选,规模不会自动变成迁移能力。你站哪边?


杨世琦:这个问题本身有点奇怪。数据只要进了训练,靠谱的公司一定会保证它是对齐的,否则我不会叫它预训练。我们说预训练数据脏一点有好处,前提是已经满足了需求线,是在线之上带噪声,而不是不处理也行。对齐、筛选和表示,做 Scaling 一定都要做。


ZP:你把人类数据和 UMI、遥操作明确区分开,又坚持用人类表征统一所有数据。这个判断是实验跑出来的,还是来自你自己的经历?


杨世琦:跟品味和经历有关。我在北美是比较早做跨本体的一批人,研究过为什么需要UMI,它到底解决什么问题。我做研究,也做系统,还会考虑这件事在商业上能不能跑通。所以一开始拆解的时候就觉得人类数据不等于 UMI 数据,得拆开去看它由什么组成、能得到什么。从 2025 年 3 月我们发布 Humanoid Policy ~ Human Policy 开始,也就是那篇用第一视角人类数据和人形机器人数据联合训练的工作,我们算是比较早系统性做人类数据的团队之一。


另外,我做遥操作和接管也比较早,花了不少时间亲自采集,研究机器人为什么要按某种 SOP 做任务。做多了就会发现,机器人做的事和人下意识做的事是有区别的。Duet 发布时会有一种大家没见过的、全新的接管方式。我们摸索了快一年,发现还需要更多信息来训练模型,这就是后面要推出的人类意图识别模型:人接管或者交互时,机器人能很快知道人下一步想让它做什么。


ZP:你们不限制前端采集,而是训一个数据模型,去处理、对齐各种来源的人类数据,再拿来训练机器人。这条路线最吃力、最需要攻克的是什么?


杨世琦:有三点。第一,系统设计要做对,这很吃一线经验。前端限制放得越少,后端就越需要想清楚,哪些信息必须保留,不同数据怎么对齐。我做机器人学习系统比较早,现在还在做;我们的联创杨靖康也是很早开始做第一视角,一直做到现在。我们不敢说自己足够聪明,但经验都刚好积累在对应的领域。这样设计风险很大,过去必须经历过完整的实验和迭代,还得敢押注。第二,我们要训数据模型,投入放在了别人不放的地方。第三,冷启动和高频更新都需要时间,整个数据管线 7 天就要训出一版新的。这些都是成本,但算下来还是便宜得多。


ZP:这几个难点中,你最担心哪一个?


杨世琦:核心判断经过了比较长时间的内部验证,我们是有信心的,这条线跑的时间比大家想的要久。人类数据我从 25 年初还在lab的时候就在做了,快两年了,各种表示方式都试过,我们管线的各个组件就已经完成了验证,开始做对齐。只是还没把所有线优雅地合到一起,但该做的验证都做完了。


执行层面唯一的风险是算账:基于学习的方式处理数据,能不能真把成本降下来。单看处理环节,相比人工标注或基于规则的方法,我们现在的处理成本已经基本持平;再加上增广和跨本体复用,前面的投入能摊到更多可用数据上,成本就很低。Learning-based 的方法有个很有意思的点:成本一旦打平,后面就能靠持续优化,越做越便宜。 


一方面靠外围工程框架减少处理量,另一方面靠微调减少模型处理的步数。


03 三个篇章,一个飞轮:从人出发,搭起学习闭环


ZP:Chorus 之外,Continuo 前不久已经在瑞典的 ECCV 上亮相,它解决什么问题?


杨世琦:它解决的是第一视角数据从哪来。


第一视角数据离机器人最近,可没人会为了给机器人采数据去戴一副眼镜。所以 Continuo 先为人做事。它是装在便携设备上的智能体,设备是谁家的都行,只要有摄像头。它记住你的习惯,整理你的待办。它能帮人完成长程的精细任务,以后就能帮机器人完成同样的任务。人和机器人做长程任务都需要记忆,这套能力先在人身上用好,未来也可以迁移到机器人上,作为记忆和规划能力接进 System 2。


我们不刻意收集数据,只是为人做事,数据会自己长出来。第一视角社区里,陆续有朋友主动找到我们聊合作。比如有一位长期用第一视角记录自己真实生活的朋友,和我们分享了一批数据,时间跨度和记录的完整性都非常罕见。我们正在一起探索,怎么把这些珍贵的记录变成真正有价值的科研资源,后面有进展再和大家分享。


ZP:Chorus(众行)这次会以什么形式呈现?


杨世琦:Chorus 是在线实时演示,大家可以上传自己的视频,直接看到管线的处理结果和每一步的中间产物,只是不能下载。我有信心大家看到之后会觉得:原来人类数据还可以这样处理。


ZP:听说不久后第三篇章的 Duet(同行)也会发布。模型还不完美的时候,怎么部署,怎么从人的帮助中学习?


杨世琦:不等完美,先上岗。


今天再好的模型,也没法在真实场景里完全自主。如果非要等到 99 分再部署,可能永远等不到那一天。我们的标准是在真实环境里做到 70 到 80 分,注意不是在演示里,剩下的交给人接管。


Duet 就是把人机共驾和模型结合起来。模型自己干活,出错的时候人接手,每一次纠正都变成训练数据。技术上这叫 DAgger,是目前数据效率最高的学习方式,比专门去采遥操作数据便宜得多,数据质量也更高。


人能接管,机器人才能先进场;模型越来越强,一个人能管的机器人就越来越多,ROI 自然就算平了。越早进入场景,技术、商业模式和公众的接受度,就越早开始打磨。


三个篇章说到底是一件事:陪着人,学人,和人一起把活干完。我们未来两三年就做这一件事:让机器人在人身边变强,也让人慢慢接受机器人。


ZP:Continuo、Chorus、Duet,这三个名字有什么讲究?


杨世琦:我们想了很多版,最后选了和音乐相关的名字。音乐融入人类生活的方式很自然,是非侵入式的,这三个篇章也都是这种自然的融入。


Continuo 是通奏低音,也就是伴奏,中文叫随行。它在你身边,不打扰你,就能提供记忆相关的功能,呼应 For Human;之后用到机器人上,也是无感地帮它做记忆。Chorus 是合唱,中文叫众行,不同声部加进来变成一首好听的歌,对应把不同来源的数据变成同一种表征。Duet 是二重奏,中文叫同行,对应人和机器人的配合:配合好了,机器人能越做越好,人也能更省心。我们希望整套技术,包括具身本身,都能像音乐一样慢慢浸润到生活和生产里,成为其中的一部分,又不让人觉得难受。


ZP:模型侧你们做的是全连续世界动作模型(Fully Continuous WAM),但对外很少讲架构,也不急着刷榜。你们在模型上到底押的是什么?


杨世琦:押的是表示,不是架构本身。


WAM 是世界动作模型(World Action Model),它同时预测两件事:世界接下来会怎么变,机器人该怎么动。机器人要处理语言、视觉、深度和动作,除了语言,其他模态天然都是连续的。主流的 VLA 以语言模型为底座,再把其他模态接上去。我们把语言也连续化了,这样所有模态都能进同一个扩散网络统一训练。理解和生成融合得越紧,相互促进的效果越好,这已经是共识,难点一直在语言这一块。今年 5 月,何恺明老师的ELF 和字节 Seed 的 Cola DLM 先后发布,在连续空间里建模语言重新变得可行。7 月初,我们也发了一个更完整的结论。


为什么不拿架构说事?在 GPT-3.5 之前,换一个架构确实可能改变一切,Transformer 就是例子。但今天,头部厂商的主干架构已经高度趋同,架构最重要的任务,是让模型在持续 Scaling 时稳得住、不爆掉。全连续对我们的意义也在这里:所有数据都在同一种表示里,被尽可能高效地放大。


所以在我们这里,模型是为数据服务的。数据池子够大之前,我们不刷榜。架构先在中小体量上反复做消融实验,有时候改模型只是为了验证数据。等数据够了,我们会很激进。我们相信顿悟时刻,到时候可能会突然拉起一个大集群持续训练。目标是明年年中左右,内部版本追平北美头部公司同时期的水平。注意,是和他们那个时候的版本比,不是和他们今天的比。


04 机器人需要的,不只是更大的模型


ZP:如果把今天具身要解决的问题压缩成一句话,你会怎么说?


杨世琦:一句话,就是让机器人的能力可以规模化地拓展和获得。这也是我们的口号 Make Intelligence Act 的意思:让智能真正动起来。


ZP:技术目标很清楚,但行业的实际状态似乎还跟不上。具身有泡沫,你怎么看?


杨世琦:我觉得核心问题是预期和交付之间有落差:展示出来的效果,和客户真正拿到手的效果,还有不小的距离。根源在于整个行业都在赶时间。


但这不完全是坏事。任何新技术都需要泡沫往里填养分,关键是这个落差多久能补上。从技术的视角看,我觉得用不了太久。更重要的是,把行业里的资源真正转化成扎实的技术进展。


ZP:既然自我定义为机器人基础模型公司,你心里的标准是什么?


杨世琦:如果只看模型本身的能力,美国虽然走得快一点,有 π、Generalist 这些北美头部的机器人基础模型公司,但客观来说,还没有哪家真的到了理想的那个点。所以更该看的是成长方式。


π 很坚定地做消融实验:用什么样的模态,也就是哪些类型的信号作为输入,信息怎么组织、怎么流通。它可能还不是一个完整统一的单一模型,但一直往这个方向跑,你能看到它在进步。Generalist 最明显的是 Scaling,能不断复用自己的数据,每个版本都会展现出新能力,现在也开始出现一些和上下文相关的、原本只有大语言模型才有的能力。


所以我觉得基础模型公司有三个特点。第一,大家能明显感觉到它的模型在持续进步。第二,它绝大多数资源确实投在模型上。第三点比较隐性:这家公司是不是真的要做模型。机器人能做的事太多了,零部件、场景、垂类小模型,甚至机器人租售都可以。模型在你这里是不是最重要的?团队是不是相信 Scaling?在大家都还没成功的阶段,满足这些就算一家基础模型公司。至于边界,其实没那么清楚,区别更多在于是好的基础模型公司,还是不好的。


ZP:也就是说,一要真的在做模型智能,二要用对方法?


杨世琦:对。你可以宣称自己在做,也可以宣称的同时真的在做。更重要的是,你在做的时候,大家,包括研究员,都能感知到你用的是对的方式。


ZP:大模型公司也开始展示机器人相关能力了,这会不会挤压机器人公司的空间?


杨世琦:不会,它在帮我们。GPT-6 Astra 出来后,网上有很多它控制机器人的演示,就有人问,机器人公司是不是不用做了。我觉得这些进展很好。像英伟达这项研究(Astranomy: An empirical study of GPT-6 Astra as a native robot policy),大模型已经能在仿真的抓取、放置任务里直接生成动作,这说明它能探索的边界比原来想得更远。


但我更倾向于相信,未来的机器人控制会是分层协作的。机器人知道该做什么之后,还得把它稳定地做出来。东西碰上去会怎么动,抓住之后滑了怎么办,环境突然变了怎么调整,这些都需要模型理解物理过程,根据反馈快速反应。越是灵巧、精细的操作,这部分能力就越重要。


行元自己在训的,就是解决这些问题的机器人基础模型。 我们聚焦 System 1,让模型从大规模的人类和机器人数据里学习感知和动作,在不同本体、不同场景里把任务做好。这部分也需要持续做 Scaling,让模型随着数据和真实世界经验的积累不断进步。


System 2 上,我们搭好 harness,把大模型的理解、规划能力接进来。大模型越强,越能往前探索机器人还能做什么,这些对我们都是加速度。我们把自己的机器人基础模型训好,两边的能力一起往上走。


05 所有事情,都为 Scaling 和验证让步


ZP:对外是三个篇章,内部是怎么组织的?


杨世琦:内部的组织方式还挺新的。形式上分研究员和工程师两组,但做的事没有明显边界。我们按技术树,也就是把技术目标拆成一棵项目树,大约每半年复盘一次:这半年要拿下哪些节点,有哪些里程碑。


人不会多,所以大家清楚彼此的能力和偏好,在树上选自己想验证的叶子,按负责人制推进,没有真正的职级之分。负责人未必本来就擅长这片叶子,因为具身没有明确的技术栈,每片叶子都可能同时沾着模型、SLAM 定位、硬件,甚至是全新的东西。所以我们招的是愿意学、又特别擅长快速学的人。


和大模型公司比,我们需要的能力更综合。大模型公司的研究员也有工程能力,但不用跟硬件打那么多交道,也没那么多很棘手的部署问题,训完模型可以交给别的同事部署。机器人做技术验证,很可能什么都得自己来,体量又没那么大,每个人就必须更综合。工程师和研究员的区别,只是工程师在某个领域做过一段工程化,更了解部署痛点,支持的节奏相对固定,研究员的时间更随性。AI 也在改变公司管理的方式,有些公司说内部在做 RSI(递归自我改进,用 AI 来改进 AI 自身),我们也希望在管理上把这个探索做好。


ZP:介绍一下核心成员的背景,为什么是你们几个人一起做?


杨世琦:我们四个人,覆盖了 Scaling 的三个变量:数据、模型和基础设施。


先说我自己。我在 UCSD 跟王小龙老师做机器人学习系统,比较早开始做跨本体操作和人类数据,ACE 和 PH2D 都是这条线上的工作。回国后我做了人机共驾,在物流场景跑通了 PoC,拿到了第一批订单。我一直只关心两件事:数据从哪来,机器人怎么尽早进入现实。


杨靖康负责数据的源头。他是第一视角方向很有代表性的青年学者,博士在南洋理工跟刘子纬老师,主导过 EgoLife。他负责人类数据的获取和前置处理,把人看到的、做过的,变成机器人能学的东西。Continuo 里的记忆和规划能力,也主要是他在做。


司晨阳负责模型。他是做模型架构出身的,现在是南京大学副教授,代表作有 FreeU 和 VBench。我们全连续 WAM 的主干网络是他带着做的,起步时间和海外同方向的工作基本同期。他在国产算力上积累得也早,后面我们会根据迭代效率做多元的算力适配。


CTO 负责把模型训大。你会发现,四个人里没有一个是做本体的。这不是缺了一块,是我们有意这么选的。


为什么是我们几个?经验互补只是一方面,更关键的是判断一致:大家都认为 Scaling 是最重要的事。而且每个人都懂技术,彼此说话不用翻译。A 产生 B,B 产生 C,大家都清楚,不会有人突然跳出来说要先做 C。


ZP:招人时你的核心标准是什么?必聊的问题有哪些?


杨世琦:必聊一个问题:为什么是现在,为什么来一家创业公司做机器人。


研究员习惯有了想法就去试,试完发篇论文。这在学术界很正常,但在我们这里,个人的想法要排在共同目标后面。突然来一个不完全擅长的任务,要能接住;别人做到一半的工作,要能快速看懂、接过来。


我和何泰然在英伟达大楼前聊过:团队不专注,一个 90 分的人进来,只能发挥出 60 分。所以我最看重的一点:你来,是为了把这件事做成,还是为了让自己变成什么样。


大模型那边,像 Codex、Claude Code 这样的产品都在快速迭代,我们没有时间可以浪费。所以项目调整得很快,一件马上要交付的事,方向变了也可能停掉。大家都能理解,因为我们只关心这件事能不能成。


ZP:行元目前还处于非常早期的阶段,选择你们的人,共性是什么?


杨世琦:相信 Scaling,相信技术本身。


智能这个方向不缺钱,缺的是敢押注的人。资源分散到太多方向,每个方向都会被稀释。联创相信这个方向、愿意把资源砸下去,这对真正的人才才是最致命的吸引。


我还有一个判断:技术窗口只有三到五年,甚至不到五年,三年之后大概就是小修小补了。研究员最想要的,是在窗口关上之前,让自己的想法被验证、被交付、去改变世界。如果只为期权和钱,不一定非要做技术。


ZP:外界有时把你们归到 neolab,你为什么不认同这个标签?


杨世琦:neolab 一般指以前沿研究为主、商业化相对靠后的新型 AI 实验室。这个词不坏,但不适合我们。实验室的气质是研究,而机器人没那么高大上:要碰硬件,要啃部署里最脏的问题。


贴上这个标签,大家会默认你可以先研究很多年再部署。我们可以为了技术拒绝大规模商业化,但不会躲开商业化验证。机器人是工程师文化:解决问题,交给现实检验,再迭代。


ZP:这是行元第一次对外发声,你最希望外界先看到什么?


杨世琦:首先是让大家知道我们在做什么、理念是什么,影响到靠谱的研究员和工程师。整个具身行业都还在初级阶段,场景、资源、合作都需要同行者,我们希望大家知道我们是同路人。


其次,这也是一种反向的倒逼:说了要做的事就得做出来。后面每次发布都要扎实,一步步验证我们说过的话,慢慢建立信任,而不是靠惊喜。我们更希望用一次次扎实的发布说话,让大家看着我们一步步做成。


文章来自于"Z Potentials",作者 "Z Potentials"。

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner