彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器
彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器多模态大模型的研发范式，正在被彻底重构。
来自主题: AI技术研报
5495 点击 2026-03-09 09:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型的研发范式，正在被彻底重构。
在机器人操作领域，一个长期悬而未决的核心问题始终困扰着研究者： 面对形态各异的灵巧手，我们是否注定要为每一种手型单独设计表示方式与控制策略？
谢赛宁团队的最新视频世界模型 Solaris，首个多人视频世界模型，能够同时生成多个玩家之间保持一致的第一视角。研究团队发现，目前的视频世界模型仅能处理单人视角，这并不能反映现实世界的真实运作方式，希望能够能够实现多人同步观察一个统一世界。于是，研究团队把视角投向了电子游戏。
来自马里兰大学、圣路易斯华盛顿大学、北卡罗来纳大学教堂山分校等机构的研究团队提出了 Parallel-Probe。不同于直接从算法设计出发，该研究首先通过引入 2D Probing，对 online 并行推理过程中的全局动态性进行了系统性刻画。
随着OpenClaw的爆火，全球用户在AI Agent上消耗的Token量整整暴涨了1000倍！这不是一次普通的开源项目走红，这是一个信号——一个比编程奇点更加剧烈的奇点，正在撕裂我们习以为常的世界。
是不是经常纠结于 VLA（视觉 - 语言 - 动作）模型的训练技巧？面对层出不穷的 VLA 算法，是不是常常感到眼花缭乱，不知道哪种数据模态、训练策略最有效？ 别急，丰田研究院（TRI）和清华大学刚刚
现在，一篇来自 CISPA 亥姆霍兹信息安全中心的最新论文《Real Money, Fake Models: Deceptive Model Claims in Shadow APIs》为我们揭开了一点谜底：那些你花真金白银购买的「第三方 API」，有可能偷偷把前沿大模型换成了廉价的替代品。
近日，一篇名为《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》的论文预印本引爆了海外 AI 社区，YC 总裁 Garry Tan 亲自转发，登顶 Hacker News（363 票 / 163 评论），霸榜 AlphaXiv #1，
3月6日，腾讯混元发布了一篇名为“HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing”的技术报告。提出了一种崭新的功能性记忆（functional neural memory）范式（weight unleashing），
近日，深度学习领域重要底层优化技术 FlashAttention 迎来大版本更新。FlashAttention 核心作者、普林斯顿大学助理教授 Tri Dao 表示，在 Blackwell GPU 上，即使瓶颈截然不同，注意力机制的执行速度现在也几乎与矩阵乘法一样快了！
Anthropic最新报告炸场了：调查显示，程序员75%的任务已被AI覆盖！客服、数据录入紧随其后。更可怕的是，这还只是开始，报告预警：AI对劳动力市场的影响，是一场长达十年的「温水煮青蛙」！
近期，大连理工与快手可灵团队推出了 MultiShotMaster—— 一个高度可控的多镜头视频生成框架，该论文向研究社区展示了即使在 1B 左右的小参数量级模型上，也可以实现导演级的镜头调度和连贯叙事，且支持多图参考、主体运动控制。
刚刚，YuanLab.ai团队正式开源发布源Yuan3.0 Ultra多模态基础大模型。
昨天，Thinking Maching Lab 研究者、斯坦福大学博士生 Zitong Yang 正式完成了他的博士论文答辩，课题为「持续自我提升式 AI」（Continually self-improving AI），并且他在答辩完成后很快就放出了自己的答辩视频，从中我们可以看到他对未来 AI 发展路径的系统性探索。
最近关于Qwen3.5还有其幕后团队，市场上的讨论沸沸扬扬，但今天我们不聊八卦，主要讲讲干货。
AI 搜索引擎正逐渐取代传统搜索入口，「问 AI」已经成为日常习惯。随着 OpenAI 宣布在 ChatGPT 中引入商业推荐，搜索与内容分发的边界正在被重新定义。在这样的环境下，你的内容能否在 AI 搜索中成为「爆款」，不再只取决于标题和流量，而是更大程度取决于 AI 本身的引用偏好。
近年来，视觉大模型在自动驾驶、智慧医疗等场景中得到广泛应用，但在真实业务环境中，“大而全”的通用模型往往并不是最优选择。
统一多模态模型在多模态内容理解与生成方面已展现出良好效果，但目前仍主要局限于图像领域。
导读：近日，位于中关村的深度机智全球首次使用全新范式——人类学习，在多个国际 Benchmark 上取得 SOTA，史无前例地使用全新架构（仅使用人类第一视角数据、零真机数据）击败 Physical Intelligence 和英伟达等头部巨头二十多个百分点，并在两会开幕首日被央视报道。
现有的 LLM 自动化 CUDA 方法大多只能优化单个 Kernel，面对完整的端到端 GPU 程序（如整个 VisionTransformer 推理）往往束手无策。
人类在创作艺术时，大脑并非一味地输出，而是在每一笔落下时都在进行着复杂的、难以言表的 “视觉优化”。
前两天有个朋友问我最近在忙什么。
长期以来，计算机视觉领域陷入了一个 “表征（Representation）” 的执念。我们习惯设计各种精巧的 Encoder，试图将动态世界压缩成一组特征向量。然而，视频作为现实的高维投影，其熵值之高、动态之复杂，让这种试图 “定格” 的表征显得力不从心。
近日，NVIDIA 发布的世界 - 动作模型 DreamZero，在两项颇具代表性的机器人基准测试 RoboArena 、MolmoSpaces 上双双登顶。
一句话总结：社区里困扰了多年的一个 “玄学” 现象终于被拆解清楚了：在 BF16 等低精度训练里，FlashAttention 不是随机出 bug，而是会在特定条件下触发有方向的数值偏置，借助注意力中涌现的相似低秩更新方向被持续放大，最终把权重谱范数和激活推到失控，导致 loss 突然爆炸。论文还给出一个几乎不改模型、只在 safe softmax 里做的极小修改，实测能显著稳定训练。
2026 开年已两个月，Agent 依然是全球最引人注目的 AI 赛道之一。OpenClaw（原 Clawbot）掀起的那波 Agent 热潮至今仍在发酵，甚至让「一人公司」概念第一次真正有了落地的可能性。
全新的具身模型空间能力评估范式 Theory of Space 突破了传统静态图文问答的局限，系统性地考察基础模型能否像人一样，在部分可观测的动态环境中，通过自主探索来构建、修正和利用空间信念。该论文已被 ICLR 2026 接收。
在 Princeton 发布 SWE-Bench 之后，用真实世界代码仓库+可执行测试评测大模型软件工程能力，几乎已成为学术界与工业界的共识。围绕 SWE issue 的评测范式迅速发展，也催生了一系列 SWE 系列 benchmark，在刻画模型 bug 修复能力方面发挥了重要作用。
伴随多模态大模型的发展，GUI Agent正成为人机交互的新范式。
强化学习（RL）将推荐系统建模为序列决策过程，支持长期效益和非连续指标的优化，是推荐系统领域的主流建模范式之一。然而，传统 RL 推荐系统受困于状态建模难、动作空间大、奖励设计复杂、反馈稀疏延迟及模拟环境失真等瓶颈。