斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
来自主题: AI技术研报
6156 点击 2025-09-08 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
为了降低大模型预训练成本，最近两年，出现了很多新的优化器，声称能相比较AdamW，将预训练加速1.4×到2×。但斯坦福的一项研究，指出不仅新优化器的加速低于宣称值，而且会随模型规模的增大而减弱，该研究证实了严格基准评测的必要性。
来自斯坦福的研究者们最近发布的一篇论文（https://arxiv.org/abs/2509.01684）直指RL强化学习在机器学习工程（Machine Learning Engineering）领域的两个关键问题，并克服了它们，最终仅通过Qwen2.5-3B便在MLE任务上超越了仅依赖提示（prompting）的、规模更大的静态语言模型Claude3.5。
就在刚刚，斯坦福大学经典 CV 课程 ——《CS231n：深度学习与计算机视觉》（2025 春季）正式上线了！课程网站：https://cs231n.stanford.edu/该系列课程深入探讨了深度学习架构的细节，并重点关注围绕图像分类、定位和检测等视觉识别任务的端到端模型学习，尤其是图像分类领域。
现在做 AI 课程的，不计其数，吴恩达、Andrej Karpathy，Greg Isenberg 等人更是大神下凡支教。高校如斯坦福、MIT、哈佛等也有公开课资源。
AI写论文早就不稀奇了，可如今，它甚至能提出实验方案，设计出能被验证的分子。今年10月，AI将更进一步，走上学术舞台。在一场名为Agents4Science的会议上，它不仅要当第一作者、评审，还要亲自上台报告。这不只是一次会议，更像是一场公开的实验。
AI正在无声改变美国就业市场，而最先倒下的，竟是年轻人！斯坦福大学最新研究发现：22—25岁新人，正遭遇前所未有的就业危机：毕业即失业，正在成为现实。AI「精准打击」这届美国人年轻人，年轻人还有出路吗？
美国当地时间周二，由三位斯坦福经济学家联合发布、尚未经过同行评议的最新研究显示：自2022年11月ChatGPT上线以来，生成式AI已在“可高度自动化”的岗位上显著压低年轻美国人的就业率。
人形机器人的运动控制，正成为强化学习（RL）算法应用的下一个热点研究领域。当前，主流方案大多遵循 “仿真到现实”（Sim-to-Real）的范式。研究者们通过域随机化（Domain Randomization）技术，在成千上万个具有不同物理参数的仿真环境中训练通用控制模型，期望它能凭借强大的泛化能力，直接适应动力学特性未知的真实世界。
最近，这家由前 Meta 和世嘉老兵组建AI游戏公司Studio Atelico，宣布完成500 万美元种子轮融资，由专AI的风投 Air Street Capital 领投，Hugging Face 核心成员 Thomas Wolf 参投，高调宣布要重新定义游戏体验 ，他们的目标，是让每个玩家都能拥有独一无二的动态世界。