「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！本文深入梳理了围绕DeepSeek-R1展开的多项复现研究，系统解析了监督微调（SFT）、强化学习（RL）以及奖励机制、数据构建等关键技术细节。
来自主题: AI技术研报
6064 点击 2025-05-06 10:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文深入梳理了围绕DeepSeek-R1展开的多项复现研究，系统解析了监督微调（SFT）、强化学习（RL）以及奖励机制、数据构建等关键技术细节。
该研究对 LLM 常见的失败模式贪婪性、频率偏差和知 - 行差距，进行了深入研究。
编程智能体，几乎成为了 2025 年最热门的话题之一。不管是学术机构还是工业界，都在寻找更高效的落地路径。
破解 “只学不练” 与 “只练不学” 的难题
在这场通往AGI的竞赛中，人类或许正在逐渐走向失控。MIT最新研究指出：即使采用最理想的监督机制，人类成功控制超级智能的概率也仅为52%，而全面失控的风险可能超过90%。
在 AI 领域里，大模型通常具有百亿甚至数千亿参数，训练和推理过程对计算资源、存储系统和数据访问效率提出了极高要求。
从单张低分辨率（LR）图像恢复出高分辨率（HR）图像 —— 即 “超分辨率”（SR）—— 已成为计算机视觉领域的重要挑战。
近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。
AI也会偷偷努力了？Letta和UC伯克利的研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考，大幅提升推理效率。
颠覆LLM预训练认知：预训练token数越多，模型越难调！CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。