月之暗面开源改进版Muon优化器，算力需求比AdamW锐减48%，DeepSeek也适用
月之暗面开源改进版Muon优化器，算力需求比AdamW锐减48%，DeepSeek也适用算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！
来自主题: AI技术研报
9313 点击 2025-02-24 10:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！
随着AI工具越来越普及，类似Deep Researh这样的工具越来越好用，科学研究成果呈现爆炸式增长。以arXiv为例，仅2024年10月就收到超过24,000篇论文提交。
近年来，随着扩散模型和 Transformer 技术的快速发展，4D 人体 - 物体交互（HOI）的生成与驱动效果取得了显著进展。然而，当前主流方法仍依赖 SMPL [1] 这一人体先验模型来生成动作。
OpenAI o1视觉能力还是最强，模型们普遍“过于自信”！
把扩散模型的生成能力与 MCTS 的自适应搜索能力相结合，会是什么结果？
2 月 18 日，月之暗面发布了一篇关于稀疏注意力框架 MoBA 的论文。MoBA 框架借鉴了 Mixture of Experts（MoE）的理念，提升了处理长文本的效率，它的上下文长度可扩展至 10M。并且，MoBA 支持在全注意力和稀疏注意力之间无缝切换，使得与现有的预训练模型兼容性大幅提升。
在人工智能高速发展的今天，我们似乎迎来了一个"假设爆炸"的时代。大语言模型每天都在产生数以万计的研究假设，它们看似合理，却往往难以验证。这让我不禁想起了20世纪最具影响力的科学哲学家之一——卡尔·波普尔。
GitHub上一个开源项目彻底打破门槛：只需3块钱、2小时，普通人也能从零训练自己的语言模型！项目“MiniMind”上线即爆火，狂揽8.9k星标，技术圈直呼：“这才是AI民主化的未来！”
DeepSeek啥都开源了，就是没有开源训练代码和数据。现在，开源RL训练方法只需要用1/30的训练步骤就能赶上相同尺寸的DeepSeek-R1-Zero蒸馏Qwen。
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？
不到10美元，3B模型就能复刻DeepSeek的顿悟时刻了？来自荷兰的开发者采用轻量级的RL算法Reinforce-Lite，把复刻成本降到了史上最低！同时，微软亚研院的一项工作，也受DeepSeek-R1启发，让7B模型涌现出了高级推理技能。
AI组队自主开发时代来临！OpenAI Operator和Replit Agent组队编程，仅在5个提示90分钟内完成了应用程序的开发。
家用人形机器人的未来是这样。
YOLO 系列模型的结构创新一直围绕 CNN 展开，而让 transformer 具有统治优势的 attention 机制一直不是 YOLO 系列网络结构改进的重点。这主要的原因是 attention 机制的速度无法满足 YOLO 实时性的要求。
在大语言模型领域中，预训练 + 微调范式已经成为了部署各类下游应用的重要基础。在该框架下，通过使用搭低秩自适应（LoRA）方法的大模型参数高效微调（PEFT）技术，已经产生了大量针对特定任务、可重用的 LoRA 适配器。
DeepSeek-R1及其蒸馏版本模型突破了AI Reasoning和大规模AI性能的新基准，其中DeepSeek-R1-Zero和DeepSeek-R1，已经在推理和问题求解上树立了新的标准。本次研究聚焦于如何利用已有的机器进行模型部署，使用这些先进的模型进行开发和研究。
随着人工智能的加速发展，我们常常担心AI会突然失控、超越人类控制。然而，最新研究指出，这种「突然失控」的场景或许并非最令人担忧的；AI在各个领域逐步取代人类，导致人类权力和影响力的缓慢流失，可能才是更隐蔽、更难以应对的渐变式风险。
官宣免费后，Grok火速登顶美区App Store榜首，同时，xAI也放出官方博文，秀了一把模型的数学、代码、ASCII Art演示。最引人瞩目的两位C位华人，均来自多伦多大学，分别和Hinton、Bengio有交集。
谷歌团队发布LLM硬核技术教科书，从「系统视图」揭秘LLM Scaling的神秘面纱。Jeff Dean强调书中藏着谷歌最强AI模型Gemini训练的更多信息。
近年来， Scaling Up 指导下的 AI 基础模型取得了多项突破。从早期的 AlexNet、BERT 到如今的 GPT-4，模型规模从数百万参数扩展到数千亿参数，显著提升了 AI 的语言理解和生成等能力。然而，随着模型规模的不断扩大，AI 基础模型的发展也面临瓶颈：高质量数据的获取和处理成本越来越高，单纯依靠 Scaling Up 已难以持续推动 AI 基础模型的进步。
众所周知，目前 DeepSeek R1 有一个很大的痛点是不支持 Function Call 的。GitHub 上有许多开发者都表达了这一诉求。
视频扩散模型新综述来了，覆盖300+文献的那种。
DeepSeek-R1这样的推理模型有着强大的深度思考能力，但也有着一些不同于通用模型的特点与用法，比如不支持函数调用，不支持结构化输出，o1甚至不支持系统提示(System Prompt)等。尽管这和它们的使用场景有关，但有时也会带来不便。今天我们就来说说结构化输出这个常见的问题。
AlphaFold 3 获得诺贝尔奖是 AI 智能重要的里程碑，让我们有信心类似 AlphaFold 的模型能为接下来十年的科学和生物结构发现起到关键作用。
世界模型（World Model）作为近年来机器学习和强化学习的研究热点，通过建立智能体对其所处环境的一种内部表征和模拟，能够加强智能体对于世界的理解，进而更好地进行规划和决策。
Transformer论文八位作者之一Llion Jones创立的Sakana AI发布重磅成果——全球首个「AI CUDA工程师」！它能将PyTorch代码自动转换为高度优化的CUDA内核，速度比PyTorch原生实现快10-100倍。
AI虚拟细胞，在计算机中代谢的生命体。2024年12月，斯坦福大学、基因泰克制药公司和陈-扎克伯格基金会的研究团队在《Cell》杂志上发表论文[1]，呼吁全球科学界利用AI技术制造这一“数据细胞”。听起来像是科幻电影里的情节，但它正在悄然发生，并即将改变生物医学界的未来。
嘿，各位开发小伙伴，今天要给大家安利一个全新的开源项目 ——VLM-R1！它将 DeepSeek 的 R1 方法从纯文本领域成功迁移到了视觉语言领域，这意味着打开了对于多模态领域的想象空间！
在今年1月《Journal of Supercomputing》上开源的「开源类脑芯片」二代（Polaris 23）完整版本源代码，基于RISC-V架构，支持脉冲神经网络（SNN）和反向传播STDP。该芯片通过并行架构显著提升神经元和突触处理能力，带宽和能效大幅提升，MNIST数据集准确率达91%。
AI协作科学家在测试中提供了新颖的见解。