扩散大语言模型得到了突飞猛进的发展，早在 25 年 2 月 Inception Labs 推出 Mercury—— 第一个商业级扩散大型语言模型，同期人民大学发布第一个开源 8B 扩散大语言模型 LLaDA，5 月份 Gemini Diffusion 也接踵而至。
在短视频推荐、跨模态搜索等工业场景中，传统多模态模型常受限于模态支持单一、训练不稳定、领域适配性差等问题。
近日，上海人工智能实验室针对该难题提出全新范式 SDAR (Synergistic Diffusion-AutoRegression)。该方法通过「训练-推理解耦」的巧妙设计，无缝融合了 AR 模型的高性能与扩散模型的并行推理优势，能以极低成本将任意 AR 模型「改造」为并行解码模型。
科技行业全球10万大裁员，连10年老将田渊栋都被Meta裁掉了！昨天，南洋理工大学的副教授Boyang Li吊足了大家的胃口：Meta FAIR最近的事件很抓马，但工业研究为什么这么难？我想知道大家愿不愿意听一下我的观点。
就在昨晚 Google Labs 又发布了一个 AI 设计产品 Pomelli （labs.google.com/pomelli/），跟之前发布的 Stitch 专注于生产 UI 设计稿不同，这次 Pomelli 专注于帮企业低成本生成符合品牌调性的营销物料。你只需要把你的官网链接给他，他就会提取品牌设计相关的所有元素，
今年三月，Liam Fedus 在推特上宣布离开 OpenAI。这条推文的影响力超出了所有人的预期——硅谷的风投们几乎是立刻行动起来，争相联系这位 ChatGPT 最初小团队的核心成员、曾领导 OpenAI 关键的后训练部门的研究者，他的离职甚至一度引发了一场“反向竞标”。
直到我看到 Dedalus Labs 宣布完成 1100 万美元种子轮融资的消息，才意识到有人正在系统性地解决这个问题。这家由 Cathy Di 和 Windsor Nguyen 创立的公司，正在构建一个基础设施层，让开发者能够用 5 行代码就搭建起一个功能完整的 AI agent。这不是夸张的营销话术，而是他们真正在做的事情。
刚刚，不发论文、爱发博客的 Thinking Machines Lab （以下简称 TML）再次更新，发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏（on-policy distillation）是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时，TML 发现在策略蒸馏可以极低的成本超越其他方法。
近日，来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。
在这片喧嚣和迷雾之中，我们迫切需要一个清晰的导航图。而Jason Wei正是提供这份地图的最佳人选之一。他现任Meta超级智能实验室（Meta Super Intelligence Labs）的研究科学家，此前在OpenAI工作了两年，o1研发的主导者，更早之前是Google Brain的科学家。
