李飞飞谢赛宁：多模态LLM「空间大脑」觉醒，惊现世界模型雏形！
李飞飞谢赛宁：多模态LLM「空间大脑」觉醒，惊现世界模型雏形！李飞飞、谢赛宁团队又有重磅发现了：多模态LLM能够记住和回忆空间，甚至内部已经形成了局部世界模型，表现了空间意识！李飞飞兴奋表示，在2025年，空间智能的界限很可能会再次突破。
来自主题: AI技术研报
7718 点击 2024-12-23 16:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
李飞飞、谢赛宁团队又有重磅发现了：多模态LLM能够记住和回忆空间，甚至内部已经形成了局部世界模型，表现了空间意识！李飞飞兴奋表示，在2025年，空间智能的界限很可能会再次突破。
我们生活在一个感官丰富的 3D 世界中，视觉信号围绕着我们，让我们能够感知、理解和与之互动。
如今，多模态大模型（MLLM）已经在视觉理解领域取得了长足进步，其中视觉指令调整方法已被广泛应用。该方法是具有数据和计算效率方面的优势，其有效性表明大语言模型（LLM）拥有了大量固有的视觉知识，使得它们能够在指令调整过程中有效地学习和发展视觉理解。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」
近日，LeCun和谢赛宁等大佬，共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型，同时全面开源了模型权重、代码、数据集，以及详细的指令微调和评估方法。
语言将是获得更智能系统的重要组成部分。
才用了112台A800，就能训出性能达GPT-4 90%的万亿参数大模型？智源的全球首个低碳单体稠密万亿参数大模型Tele-FLM，有望解决全球算力紧缺难题！此外，全新思路的原生多模态「世界模型」Emu 3等都浅亮相了一把。2024的智源大会，依然是星光熠熠，学术巨佬含量超标。
本周五，一年一度的AI春晚“北京智源大会”正式开幕。本次大会AI明星浓度，放在全球范围内可能也是独一份：OpenAI Sora负责人Aditya Ramesh作为神秘嘉宾进行了分享，并接受了DiT作者谢赛宁的“拷问”、李开复与张亚勤炉边对话AGI、还集齐了国内大模型“四小龙”，百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能CEO李大海…… 这还只是第一天上午的开幕式。
本周国内最受关注的AI盛事，今日启幕。 活动规格之高，没有哪个关心AI技术发展的人能不为之吸引—— Sora团队负责人Aditya Ramesh与DiT作者谢赛宁同台交流，李开复与张亚勤炉边对话，Llama2/3作者Thomas Scialom，王小川、杨植麟等最受关注AI创业者……也都现场亮相。