独家｜牛津博士后林庆泓加入世界模型创企Video Rebirth，探索多模态智能体

导语

Z Potentials 独家获悉，新加坡国立大学博士，牛津大学博士后研究员林庆泓（Kevin）近期以首席研究员（Principal Researcher）身份加入世界模型公司 Video Rebirth，负责多模态智能体与世界模型相关研究。Kevin 曾在腾讯、Meta、微软研究院从事研究工作，在计算机视觉、视频多模态、智能体方向取得多项研究成果，开源项目累计获得 GitHub 1.8 万 Stars。

值得关注的是，Kevin过往的研究主线，与 Video Rebirth 当前的技术路线形成了明显交汇。

过去几年，他的研究从第一人称视频理解、长视频推理，一路延伸至多模态智能体，核心问题始终是：如何让 AI 不只理解视觉回答问题，还能够进入环境并完成行动。Video Rebirth 则从视频生成出发，试图构建可实时生成、可交互、可供智能体探索的视频原生世界模型。

一边是从“理解世界”走向“在世界中行动”，另一边是从“生成视频”走向“模拟世界”。Kevin此次加入，意味着这两条技术路径开始在同一家公司内部汇合。

在他看来，世界模型的价值并不只是生成更逼真的画面。一个真正成立的世界模型，需要有能够进入其中、持续行动并提供反馈的“玩家”，而这个玩家既可以是人，也可以是多模态智能体。

“世界模型负责模拟世界，智能体负责在世界中探索。两者连接起来，将会是一个完整的闭环。”

为什么在这一时间点加入一家世界模型创业公司？为什么选择 Video Rebirth？视频为什么可能成为模拟世界的原生载体？多模态智能体与世界模型的结合，又将如何改变未来智能体的范式？

趁着此次人事变动，我们与Kevin进行了一次深度对话，聊了聊他的研究路径、对世界模型的判断，以及这次选择背后的思考。

以下是Z Potentials 与Kevin对话实录，经编辑修改，enjoy～

01 研究主线：一条"从理解到行为"的多模态主线

ZP：在当前以语言模型主导的发展背景下，多模态为什么重要？

Kevin： 我认为可以从文本、多模态和视频三个层面来理解这个问题。

第一，文本是人类文明经过提炼后的高密度载体。互联网上的哲学、科学、新闻，大多是人类对世界进行思考和总结之后，以书面形式沉淀下来的知识。大语言模型学习的，正是这些已经被人类筛选、抽象和压缩过的信息。正因为学的是这样高质量的语料，语言模型才得以率先逼近人类智能的前沿。

第二，但真实世界本身并不以文字形式存在。例如在一段烹饪视频中，火候的变化、食材颜色和质地的转变，是同时发生并相互影响的。我们很难用文字完整、准确地还原这些细节，但人类通过眼睛观看就能非常直观地理解整个过程，即一图胜千言。

从这个意义上说，文本更像是对世界的"事后总结"，而多模态信息更接近对世界的"直接经历"。一个能够观看视频、聆听声音、感知环境的智能体，才有机会实时地理解并交互世界本身。

如果我们相信未来智能体会成为人在真实世界下的合作伙伴，那么未来人与 AI 的协作方式应是人机交互。要实现这一点，它不仅要擅长处理人类不擅长的信息（代码），也要兼容并理解人类日常接收信息的方式，如图像、视频、声音和动作。

ZP：在多模态之中，哪种模态具有不可替代的独特性？

Kevin：我觉得是代码和视频。代码是一种高层的认知符号表征，它以可验证的方式，准确而完整地定义了一切。比如一个再花哨的网页，背后都是一串 HTML 代码；一段酷炫的动画，背后是几行渲染逻辑。自然语言充满歧义，而代码没有，它遵循严格的语法，可被执行、可被编译，同一段代码在任何机器上得到同样的结果，这种确定性是其他模态给不了的。也正因为"可执行、可验证"，代码成了智能体最可靠的行动接口：它可以写下假设、运行验证、根据结果修正，从而延伸到科学发现，乃至自我进化。

另一种是视频，因为它以连续、流式的方式记录着世界的变化和人类的行为。它不只包含视觉信息，往往还同时承载语言、声音、动作，以及空间关系随时间的变化。人类大量的知识与经验也沉淀在视频之中：带讲解的软件教学、第一视角下的生活记录、电影中复杂的剧情叙事。所以视频不只是视觉序列，更是一种存储多模态信息流、记录行为因果的载体。对于希望进入真实世界、理解人类并与人协作的智能体而言，视频是不可替代的媒介。我自己对这两者的结合非常感兴趣，之前专门写过一篇博客《Vision Meets Code》。

ZP：可以介绍一下你的研究经历吗？

Kevin：多模态智能，从理解到行为，从物理世界到数字世界。

我在博士阶段前期一直在做视频理解。回到 2021 年的视频预训练，当时大家盯着的是第三人称视角，这些视频往往经过人为剪辑，或者有大的噪声。但人真实的生活是什么样的？是手伸向冰箱拿牛奶，是灶台前翻炒锅里的菜。这些画面，只有挂在头上的相机才能捕捉到。在"具身智能"尚未火热的早期，Meta 联合多所高校推出了首个大规模第一人称视角（Egocentric）视频数据集 Ego4D。当时在视觉研究社区里这还是只是一个垂类方向，但我在观察大量第一人称视频后，直觉告诉我：第一人称视角和互联网上的普通视频，差异大到值得单独深挖（手与物的交互、空间信息），于是我开始思考，如果不掺杂任何互联网视频，用百万级别的第一视角视频做大规模预训练，会发生什么？

这就是 EgoVLP 的研究动机：我们是首个在第一视角下训练了大规模的视频-语言预训练模型，该工作解决了预训练（原始长达24小时的视频流如何在工程上实现端到端预训练）、学习目标（第一视角的视频有什么独特性）、并在多项下游上验证了这件事的意义。该工作入选 NeurIPS 2022 Spotlight（前 1.7%），在 CVPR 的 Ego4D 与 Epic-Kitchens 两项国际挑战赛中夺冠，获得 CVPR  EgoVis杰出论文奖，以及新加坡 PREMIA 最佳学生论文奖。

此后我持续关注长视频理解：UniVTG 解决如何在一段长视频里定位某个事件的起点和终点；VideoMind 则让模型像人一样对长视频做多步推理，先看一块片段，再放大细看。

ZP：你后来切入了多模态智能体。这次转向的契机是什么？

Kevin： 因为我意识到，如果 AI 只能回答问题，能做的事情其实很有限。比如你要订一张机票，模型只能告诉你"去哪个平台、你自己操作"。那么理解的下一步，就应该是走进这个环境，真正帮你把事情做完。这是很自然的一步：理解了，才谈得上决定要做什么。

当时，智能体在语言和代码模态上已经崭露头角，而我非常感兴趣的是：以视觉为主的多模态智能体会是什么样？于是我们从 2024 年下半年开始探索 Computer-Use 智能体。你可以想象这样一个场景：你打开旅行 App，模型看到搜索框、日期选择器、价格标签，然后它不是告诉你"去哪个平台搜一下"，而是直接滑动屏幕、点击日期、选择航班、填入姓名，替你把整件事做完。

为什么这件事重要？如果说第一人称视角对应的是物理世界，那么人每天还要花好几个小时在电脑和手机前，刷手机、回邮件，这同样是一个高度依赖视觉理解的数字世界：AI 需要看清屏幕（往往是 2K 甚至 4K 的高分辨率），再准确地点击（给出精确的 [x, y] 坐标）。

我们最核心的探索是 ShowUI，让智能体直接操控电脑和图形界面（GUI）。这里有两个难点。一是如何高效建模屏幕视觉。屏幕上既有大量冗余的空白区域，又散布着极小的交互按钮，模型必须在有限的算力下抓住真正重要的那几个像素。二是记忆：受流式视频的启发，我们为多步任务设计了流式记忆机制，让智能体记住自己一路上看过什么、做过什么。ShowUI 发表于 CVPR 2025，获 NeurIPS 2024 开放世界智能体研讨会杰出论文奖，模型在 Hugging Face 下载量超 28 万次。

ZP：在智能体这个视角下，你会如何定位你的研究？

Kevin：我研究多模态智能体，我关心两个大的问题，我会对每个维度举一个例子。

第一，智能体如何能像人一样？具体可以拆解成三个核心能力。

感知（Perception），让智能体看懂环境，也就是理解多模态上下文，其中长视频理解是最具挑战性的一环。推理（Reasoning），让智能体像人一样自适应地思考：简单的问题直接跳过思考，复杂的问题再深入推理，在多轮场景下这能节省大量思维链 token。更进一步是想象，人类可以在脑海中直接还原魔方转动的画面，而今天的智能体思考时仍然只能依赖文本来阐述过程。交互（Interaction），让智能体在具身场景下带着记忆行动，在正确的时机采取正确的动作，把任务真正做完。

第二，智能体能为人做什么？理想的愿景当然是构建通用智能体，但通用模型在很多实际任务上的表现依然不理想，而恰恰是解决好这些垂类任务，本身就有巨大的价值。所以我从实际需求出发探索了很多应用，比如自动化科研：让多模态智能体自动生成学术海报（Paper2Poster）和学术演讲视频（Paper2Video）。

以 Paper2Poster 为例，模型读懂一篇论文后，自动生成学术海报，把几十页的论文浓缩成一张可视化呈现。这不是简单的排版，模型要先理解论文的核心贡献，再决定海报上放什么图、写什么字，这正是从"理解"到"产出行为"的落地。它本质上是一个长上下文、长程（Long-horizon）任务，多模态输入、多模态输出；相比图像生成，它的研究挑战更多在评测的设计上，我们需要先回答"什么才是一张出色的 Poster"。

再如 Code2Video，是在 AI for Education 方向的探索：让多模态代码智能体自动制作一段教学视频，比如讲清楚"什么是大语言模型"。2025 年下半年我就有很强的预感：代码的能力一定会体现在多模态渲染（Animation）上，而这将革新多模态视觉生成。

这些探索让我相信：多模态在智能体上拥有巨大的创作和想象空间。

ZP：你在腾讯、Meta、微软都有研究经历。这些经历对你意味着什么？

Kevin：这几段经历正好对应我研究的几个阶段，我有幸与多位一线研究者学习交流。在腾讯，我参与多模态预训练，在大规模多媒体广告检索需求下打下了多模态表征学习的基础；在 Meta AI 和 Meta Reality Labs，我专注长视频理解和时序定位，从 Meta Aria 眼镜的第一视角视频出发；在微软研究院，我们正是从微软Copilot的实际使用场景出发，去思考和定义智能体的能力。

学术界给予我定义和探索问题的自由，产业界让我看到真实的场景需求。

02 原生多模态智能体与世界模型

ZP：你认为多模态智能体的下一步会如何发展？

Kevin：从能力上看，我认为原生多模态是智能体的下一个范式。早期智能体可以通过工具调用获得多模态能力，但那本质上是"外挂"的。而现在可以看到两个明显的信号：

第一，在前沿 benchmark 上。当前越来越多地用"以视觉为主的编程任务"来衡量模型能力，比如WebDev Arena、Design Arena，让模型看一张截图重建整个网站、绘制一个完整的交互式游戏等。要把这类事情做好，模型必须具备良好的视觉迭代能力（Vision in the Loop），写出代码、看到渲染结果、再根据画面修正，如此循环。我们在VideoGUI（NeurIPS 2024 Spotlight）就思考过这个场景：AI 能否通过观看一段成品视觉效果（比如专业软件的编辑变换），逆向理解出完整的操作过程？这种"从视觉逆向理解"的能力，也是当下 Coding Agent 的重要能力体现。

第二，在模型设计上。多轮、长上下文场景中，图像和视频会占据大量 token，架构必须为多模态优化。可以看到，Qwen3.5 开始不再区分 LLM 和 VLM；最近发布的 Kimi K3 把外挂的视觉编码器内化成了"原生器官"，视觉编码器与语言主干从预训练第一步起就联合优化；Thinking Machines Lab 的 Inkling则大胆采用 Encoder-free 的方式直接编码视觉。

这背后指向的是效率问题。未来的智能体将迈向数小时甚至数天级别的长程多轮任务执行，在这样的场景下，每轮交互的token成本都不可小觑。这个交互的长期目标会是实时性。比如在游戏和电脑操控等场景中，实时性对任务完成度和用户体验极其重要，一个理想的多模态智能体，必须能实时地看、实时地动。走进一个环境，去行动和探索。而这个环境，可以是真实的，也可以是世界模型。

ZP：那你如何理解世界模型？

Kevin：我认为世界模型并不完全等价于"更逼真的视频生成"。顾名思义，世界模型是对世界的建模，它并不取决于特定的模态。在这样的框架下，操作系统（OS）可以是数字世界的世界模型，语言模型是推理空间的世界模型，甚至在科学领域，物理定律也是一种世界模型。

所以相比世界模型的具象定义，我更在意的是：世界模型有什么用？在我的理解里，世界模型定义了一个世界，那它就一定要有一个服务对象，即"玩家"就像我们人类，其实就是"地球 Online"的玩家。

在这个框架下，"玩家"可以有多种形态。可以是人：世界模型渲染出足够逼真、有美感的视频，让人沉浸其中。可以是智能体：比如游戏场景里那个被键盘操控的角色。也可以是一个轻量化的参数化模块：比如具身机器人的 World Action Model 中，负责输出动作的 Action Expert。

ZP: 在这条"视频原生世界模型"的路线上，你怎么看待 Video Rebirth 在做的事？

Kevin：Video Rebirth 正在探索的是视频原生的世界模型。视频是一种统一且可扩展（Scalable）的界面，可以接入各种场景。一方面，它可以用来建模环境，细至物理世界里的光影变化，宏观到行为与事件之间的因果；另一方面，在流式场景下，它支撑动作驱动的视频生成，就像三维游戏的开放世界，画面随着你的每一次操作即时生成、即时响应。

在物理世界的真实场景生成中，Video Rebirth 的 BACH 模型已经能够呈现出较强的真实感与连贯性的画面。

数字游戏世界下，更关注动作驱动后的连续性。下面是世界模型 Olympus在游戏场景中的实时可交互演示：

当看到这个demo，很自然会想到一个问题：如果真有一个"玩家"去玩这个实时生成出来的游戏，会发生什么？这个玩家不一定是人，也可以是多模态智能体。让它替我们去玩、去判断生成的画面是否合理、游戏逻辑是否自洽，再把结果作为反馈交给世界模型。

03 行业预判与选择：为什么是现在，为什么是这里

ZP：你为什么会选择Video Rebirth？

Kevin：这是我研究主线的自然延伸。我过去做的，是从视频理解一路走到多模态智能体与世界的交互；而 Video Rebirth 的路线，是从视频生成迈向视觉原生的世界模型。两条线正好在此相遇，我可以把在多模态智能体上的积累，接入视频原生的世界模型，补上"模拟世界"与"在世界中探索"之间缺的那一环。

ZP：你对多模态智能体和世界模型的相遇有何展望？

Kevin：从研究价值上看，这是一个双向的飞轮，多模态智能体是理解走向交互与行动，多模态世界模型是生成的涌现，两者恰好互补。对世界模型来说，智能体可以提供评价和反馈信号：一个世界模拟得好不好，很重要的维度是体现在智能体能否在其中自洽地行动，也就是policy agent as judge for world model。

这里引用Video Rebirth 创始人刘威博士的判断："大语言模型的终局是 coding agent，世界模型的终局是 simulation agent。"我认为智能体可以进一步让这个闭环成立：simulation agent for embodied agent。世界模型负责模拟不同条件下的世界，而智能体将在这样的世界里去探索和验证。

ZP：如果这件事做成了，你希望它最终带来什么结果？

Kevin：在实际场景下，对智能体而言，世界模型可以成为高效的数据引擎，用更低的成本获取交互数据，并有望成为规模化训练智能体的环境，比如通过强化学习，让智能体在模拟世界中反复试错。这在很多场景下意义重大，尤其是真实环境里危险或成本高昂的场景：模拟世界让智能体能以更低的代价，学会做出更好、更安全的决策，最终再把这些能力带回真实世界。

如果这个闭环跑通，它服务的将不只是某个游戏场景、某类具身任务，而是所有需要 policy 在环境中行动的场景。世界模型负责规模化地定制世界，智能体负责在定制的世界下探索与验证，两者互相需要。这是我和 Video Rebirth 共同希望实现的愿景。

请注意，本次访谈内容已经过编辑整理并已获得林庆泓的认可，仅代表受访者个人观点。我们也欢迎读者通过留言互动，分享您对本内容的看法。

文章来自于"Z Potentials"，作者 "Z Potentials"。