自回归+扩散！Salesforce开源统一多模态模型BLIP3-o，图像理解与生成全拿下
自回归+扩散！Salesforce开源统一多模态模型BLIP3-o，图像理解与生成全拿下OpenAI 的 GPT-4o 在图像理解、生成和编辑任务上展现了顶级性能。流行的架构猜想是：
来自主题: AI技术研报
10428 点击 2025-05-23 11:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
OpenAI 的 GPT-4o 在图像理解、生成和编辑任务上展现了顶级性能。流行的架构猜想是：
大语言模型（LLM）的生成范式正在从传统的「单人书写」向「分身协作」转变。传统自回归解码按顺序生成内容，而新兴的异步生成范式通过识别语义独立的内容块，实现并行生成。
自回归（AR）范式凭借将语言转化为离散 token 的核心技术，在大语言模型领域大获成功 —— 从 GPT-3 到 GPT-4o，「next-token prediction」以简单粗暴的因果建模横扫语言领域。
自回归模型，首次生成2048×2048分辨率图像！来自Meta、西北大学、新加坡国立大学等机构的研究人员，专门为多模态大语言模型（MLLMs）设计的TokenShuffle，显著减少了计算中的视觉Token数量，提升效率并支持高分辨率图像合成。
最近，北京大学陈宝权教授带领团队在三维形状生成和三维数据对齐方面取得新的突破。在三维数据生成方面，团队提出了3D自回归模型新范式，有望打破3D扩散模型在三维生成方面的垄断地位。
视频生成领域，又出现一位重量级开源选手。
新国产AI视频生成模型横空出世，一夜间全网刷屏。Magi-1，首个实现顶级画质输出的自回归视频生成模型，模型权重、代码100%开源。整整61页的技术报告中还详细介绍了创新的注意力改进和推理基础设施设计，给人一种视频版DeepSeek的感觉。
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。
「一位顶尖科学家，有数千亿美元的资源，却仍然能把Meta搞砸了！」最近，圈内对LeCun的埋怨和批评，似乎越来越压不住了。有人批评说，Meta之所以溃败，LeCun的教条主义就是罪魁祸首。但LeCun却表示，自己尝试了20年自回归预测，彻底失败了，所以如今才给LLM判死刑！
基于Transformer的自回归架构在语言建模上取得了显著成功，但在图像生成领域，扩散模型凭借强大的生成质量和可控性占据了主导地位。