在大语言模型 (LLM) 的研究中，与以 Chain-of-Thought 为代表的逻辑思维能力相比，LLM 中同等重要的 Leap-of-Thought 能力，也称为创造力，目前的讨论和分析仍然较少。这可能会严重阻碍 LLM 在创造力上的发展。造成这种困局的一个主要原因是，面对「创造力」，我们很难构建一个合适且自动化的评估流程。
我们正见证一场静默的推理革命。传统AI训练如同盲人摸象，依赖碎片化文本拼凑认知图景，DeepSeek-AI团队的CODEI/O范式首次让机器真正"理解"了推理的本质——它将代码执行中蕴含的逻辑流，转化为可解释、可验证的思维链条，犹如为AI装上了解剖推理过程的显微镜。
用代码训练大模型思考，其他方面的推理能力也能提升。
开源推理大模型新架构来了，采用与Deepseek-R1/OpenAI o1截然不同的路线： 抛弃长思维链和人类的语言，直接在连续的高维潜空间用隐藏状态推理，可自适应地花费更多计算来思考更长时间。
图像生成模型，也用上思维链（CoT）了！此外，作者还提出了两种专门针对该任务的新型奖励模型——潜力评估奖励模型。（Potential Assessment Reward Model，PARM）及其增强版本PARM++。
刚刚，OpenAI把o3-mini的推理思维链公开了。从今日起，免费用户和付费用户都可以看到模型的思维过程，OpenAI终于Open一回。
关注NLP领域的人们，一定好奇「语言模型能做什么？」「什么是o1？」「为什么思维链有效？」
昨天晚上，DeepSeek 又开源了 DeepSeek-R1 模型（后简称 R1），再次炸翻了中美互联网： R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。 R1 上线 API，对用户开放思维链输出 R1 在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版，小模型则超越 OpenAI o1-mini
OpenAI 接连发布 o1 和 o3 模型，大模型的高阶推理能力正在迎来爆发式增强。在预训练 Scaling law “撞墙” 的背景下，探寻新的 Scaling law 成为业界关注的热点。高阶推理能力有望开启新的 Scaling law，为大模型的发展注入新的活力。
Meta-CoT 通过显式建模生成特定思维链（CoT）所需的底层推理过程，扩展了传统的思维链方法。
