怒斥Sora之后，LeCun放出「视觉世界模型」论文，揭示AI学习物理世界的关键
怒斥Sora之后，LeCun放出「视觉世界模型」论文，揭示AI学习物理世界的关键Sora 的发布让整个 AI 领域为之狂欢，但 LeCun 是个例外。
来自主题: AI技术研报
6726 点击 2024-03-05 14:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Sora 的发布让整个 AI 领域为之狂欢，但 LeCun 是个例外。
谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。
Sora刚发布不久，就被逆向工程“解剖”了？！
根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。
谷歌团队推出「通用视觉编码器」VideoPrism，在3600万高质量视频字幕对和5.82亿个视频剪辑的数据集上完成了训练，性能刷新30项SOTA。
Sora面对的挑战就像是需要处理和理解来自世界各地、不同设备拍摄的数以百万计的图片和视频。这些视觉数据在分辨率、宽高比、色彩深度等方面都存在差异。为了让Sora能够像人类大脑那样理解和生成这么丰富的视觉内容，OpenAI开发了一套将这些不同类型视觉数据转换为统一表示形式的方法。
一个名为“AI疯人院”的博主在网上发布了一部令人震撼的《猴王问世》动画短片。这部短片利用AI技术制作而成，全长约3分56秒，其令人身临其境的逼真视觉效果让众多网友惊叹不已。
本文总结了关于Sora的四点启发，包括视觉数据训练出更强的泛化能力、OpenAI的Scaling Law路线、与AGI的第一次亲密接触以及OpenAI的宣传策略。
视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。
简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。