搜索
在具身智能领域，机器人操作的泛化能力一直是一个核心挑战。当前，视觉 - 语言 - 动作（VLA）模型主要分为两大范式：端到端模型与分层模型。端到端 VLA 模型（如 RT-2 [1], OpenVLA [2]）严重依赖海量的 “指令 - 视觉 - 动作” 成对数据，获取成本极高，导致其在面对新任务或新场景时零样本泛化能力受限。
近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。
过去几年，多模态模型在理解任务上快速演进，图像问答、OCR、视觉推理、跨模态对话等能力不断提升；与此同时，图像生成模型也在视觉质量、指令遵循和细节表达上持续突破。下一步一个自然的问题是：能否用同一个模型，同时做好理解与生成？这正是统一多模态模型（Unified Multimodal Models, UMMs）正在回答的问题。
想象一下这样的生活片段：你拿起手机 30 秒，屏幕立刻跳出提醒，“当前心率 78，压力中等，建议深呼吸”；家里的智能摄像头静静看着午睡的宝宝，突然通过 App 提醒你：“宝宝心率偏快，呼吸略显急促，建议进屋查看”；养老院里，巡检机器人通过一次擦身而过的对视，便能感知到老人今天情绪低落，且血氧饱和度略低于往常......
AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，暴露其缺乏真实认知，推动视频AI从「视觉模仿」迈向「智能推理」。
“把水果放进盘子里”——机器人看懂了指令，开始执行，却在最后关头抓偏了。
据接近腾讯混元团队的知情人士透露，原字节Seed视觉AI平台团队负责人肖学锋，Infra团队张弛于近期低调入职腾讯，负责大模型Infra相关工作，向腾讯首席AI科学家姚顺雨汇报。
在自动驾驶、具身智能、AR/VR应用中做3D重建，大家都想解决一个终极问题： 模型能不能像人一样，一边往前看，一边持续构建三维世界？
近年来，随着 Sora、Seedance 等文本到视频（T2V）扩散模型的飞速发展，AI 视频生成在视觉保真度与动态表现上已取得突破性进展。特别是近期备受瞩目的 Seedance 2.0，展现出了极其强大的多镜头叙事与复杂分镜控制能力。
随着多模态大语言模型（MLLM）支持更长上下文，高分辨率图像和长视频会产生远多于文本的视觉 Token，在自注意力二次复杂度下迅速成为效率瓶颈。