多模态后训练反常识：长思维链SFT和RL的协同困境
多模态后训练反常识：长思维链SFT和RL的协同困境在语言模型领域，长思维链监督微调（Long-CoT SFT）与强化学习（RL）的组合堪称黄金搭档 —— 先让模型学习思考模式，再用奖励机制优化输出，性能通常能实现叠加提升。
来自主题: AI技术研报
5979 点击 2025-08-02 12:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在语言模型领域，长思维链监督微调（Long-CoT SFT）与强化学习（RL）的组合堪称黄金搭档 —— 先让模型学习思考模式，再用奖励机制优化输出，性能通常能实现叠加提升。
近期，随着OpenAI-o1/o3和Deepseek-R1的成功，基于强化学习的微调方法（R1-Style）在AI领域引起广泛关注。这些方法在数学推理和代码智能方面展现出色表现，但在通用多模态数据上的应用研究仍有待深入。
如何理解大模型推理能力？现在有来自谷歌DeepMind推理负责人Denny Zhou的分享了。 就是那位和清华姚班马腾宇等人证明了只要思维链足够长，Transformer就能解决任何问题的Google Brain推理团队创建者。 Denny Zhou围绕大模型推理过程和方法，在斯坦福大学CS25上讲了一堂“LLM推理”课。
离开OpenAI，只是为了Meta天价薪资？Jason Wei离职博客，泄露天机：未来AI更令人向往！
这次是真真真挖到OpenAI大动脉了。 Jason Wei，思维链的提出者、o1系列模型的关键人物，被曝也被扎克伯格请走，即将入职Meta。
大模型在潜空间中推理，带宽能达到普通（显式）思维链（CoT）的2700多倍？
思维链里的步骤很重要，但有些步骤比其他步骤更重要，尤其是在一些比较长的思维链中。 找出这些步骤，我们就可以更深入地理解 LLM 的内部推理机制，从而提高模型的可解释性、可调试性和安全性。
当推理链从3步延伸到50+步，幻觉率暴增10倍；反思节点也束手无策。
原来，CoT推理竟是假象！Bengio带队最新论文戳穿了CoT神话——我们所看到的推理步骤，并非是真实的。不仅如此，LLM在推理时会悄然纠正错误，却在CoT中只字未提。
像人一样推理。 大模型的架构，到了需要变革的时候？ 在对复杂任务的推理工作上，当前的大语言模型（LLM）主要采用思维链（CoT）技术，但这些技术存在任务分解复杂、数据需求大以及高延迟等问题。