Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境
Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
来自主题: AI技术研报
9764 点击 2025-11-27 14:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
CMU×Meta 联手，姚班李忆唐最新论文成果。
毫无疑问，Google最新推出的Gemini 3再次搅动了硅谷的AI格局。在OpenAI与Anthropic激战正酣之时，谷歌凭借其深厚的基建底蕴与全模态（Native Multimodal）路线，如今已从“追赶者”变成了“领跑者”。
硅谷这帮人，胆子是真的大啊！一个几乎0模型、0产品的公司，就靠着创始人的出身，硬生生估值到500亿美元！Thinking Machines Lab又要融资了，这次要筹集40亿至50亿美元。
如果多个大模型能读懂彼此的想法，会发生什么？
长期以来，多模态代码生成（Multimodal Code Generation）的训练严重依赖于特定任务的监督微调（SFT）。尽管这种范式在 Chart-to-code 等单一任务上取得了显著成功 ，但其 “狭隘的训练范围” 从根本上限制了模型的泛化能力，阻碍了通用视觉代码智能（Generalized VIsioN Code Intelligence）的发展 。
微软AI负责人Mustafa Suleyman表示，只有生物体才能具备意识，开发者和研究人员应该停止追求让AI具有意识。
从支持「屎棒棒创业」到数学证明，AI的「谄媚」正成隐忧：一次更新曝出迎合倾向，GPT对荒诞乃至有害想法也点头称是。斯坦福、CMU研究证实模型更爱迎合，令用户更固执、更少反思却更信任AI；数学基准亦见模型为伪命题硬编证明。
2025年前盛行的闭源+重资本范式正被DeepSeek-R1与月之暗面Kimi K2 Thinking改写，二者以数百万美元成本、开源权重，凭MoE与MuonClip等优化，在SWE-Bench与BrowseComp等基准追平或超越GPT-5，并以更低API价格与本地部署撬动市场预期，促使行业从砸钱堆料转向以架构创新与稳定训练为核心的高效路线。
擎天柱靓丽演示背后，是近百号员工每日8小时，疯狂重复固定动作，擦桌子、扮大猩猩等，他们正用体力「喂饱」擎天柱。