目前，最先进的对齐方法是使用知识蒸馏（Knowledge Distillation, KD）在所有 token 上最小化 KL 散度。然而，最小化全局 KL 散度并不意味着 token 的接受率最大化。由于小模型容量受限，草稿模型往往难以完整吸收目标模型的知识，导致直接使用蒸馏方法的性能提升受限。在极限场景下，草稿模型和目标模型的巨大尺寸差异甚至可能导致训练不收敛。
智东西11月4日消息，11月3日，美国生成式AI医疗独角兽Hippocratic AI宣布完成1.26亿美元（约合人民币8.97亿元）的C轮融资，谷歌母公司Alphabet旗下独立成长基金CapitalG参投。此轮融资也让该公司的估值达35亿美元（约合人民币249.24亿元），总融资额达到4.04亿美元（约合人民币28.77亿美元）。
厦门大学和腾讯合作的最新论文《FlashWorld: High-quality 3D Scene Generation within Seconds》获得了海内外的广泛关注，在当日 Huggingface Daily Paper 榜单位列第一，并在 X 上获得 AK、Midjourney 创始人、SuperSplat 创始人等 AI 大佬点赞转发。
今天，北京智源人工智能研究院（BAAI）重磅发布了其多模态系列模型的最新力作 —— 悟界・Emu3.5。这不仅仅是一次常规的模型迭代，Emu3.5 被定义为一个 “多模态世界大模型”（Multimodal World Foudation Model）。
就像 Windows 或 macOS 为软件提供运行环境，Flowith OS 为 AI Agent 提供思考与行动的环境。Flowith 正式发布了一个全新的产品：名为 Flowith OS 的新物种。它选择了一个「另辟蹊径」的路径，尝试为 AI Agent 打造一个全新的 AI-Native 式的操作系统。
今天要讲的On-Policy Distillation（同策略/在线策略蒸馏）。这是一个Thinking Machines整的新活，这个新策略既有强化学习等在线策略方法的相关性和可靠性；又具备离线策略（Off-policy）方法的数据效率。
刚刚，OpenAI宣布已完成资本结构重组。这就意味着，OpenAI上市的道路已经铺平，而软银前几天刚批准的225亿美元投资，也将顺利到账。具体来说，OpenAI重组后，非营利主体（即原本的OpenAI Nonprofit）改名为OpenAI Foundation，继续掌控营利实体——
刚刚，不发论文、爱发博客的 Thinking Machines Lab （以下简称 TML）再次更新，发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏（on-policy distillation）是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时，TML 发现在策略蒸馏可以极低的成本超越其他方法。
阿里巴巴与上海交通大学 EPIC Lab 联合提出 Socratic-Zero，一个完全无外部数据依赖的自主推理训练框架。该方法仅从 100 个种子问题出发，通过三个智能体的协同进化，自动生成高质量、难度自适应的课程，并持续提升模型推理能力。
年初的 DeepSeek-R1，带来了大模型强化学习（RL）的火爆。无论是数学推理、工具调用，还是多智能体协作，GRPO（Group Relative Policy Optimization）都成了最常见的 RL 算法。
