开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练还在为强化学习（RL）框架的扩展性瓶颈和效率低下而烦恼吗？
来自主题: AI技术研报
8345 点击 2025-07-30 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
还在为强化学习（RL）框架的扩展性瓶颈和效率低下而烦恼吗？
加利福尼亚大学圣迭戈分校博士生王禹和纽约大学教授陈溪联合推出并开源了 MIRIX，全球首个真正意义上的多模态、多智能体AI记忆系统。MIRIX团队同步上线了一款桌面端APP，可直接下载使用！
近年来，大语言模型（LLM）的能力越来越强，但它们的“饭量”也越来越大。这个“饭量”主要体现在计算和内存上。当模型处理的文本越来越长时，一个叫做“自注意力（Self-Attention）”的核心机制会导致计算量呈平方级增长。这就像一个房间里的人开会，如果每个人都要和在场的其他所有人单独聊一遍，那么随着人数增加，总的对话次数会爆炸式增长。
在三个月前，OpenAI 研究员 Shunyu Yao 发表了一篇关于 AI 的下半场的博客引起了广泛讨论。他在博客中指出，AI 研究正在从 “能不能做” 转向 “学得是否有效”，传统的基准测试已经难以衡量 AI 的实际效用，他指出现有的评估方式中，模型被要求独立完成每个任务，然后取平均得分。这种方式忽略了任务之间的连贯性，无法评估模型长期适应能力和更类人的动态学习能力。
只需一次指令微调，即可让普通大模型变身“全能专家天团”？
在人工智能模型规模持续扩大的今天，数据集蒸馏（Dataset Distillation,DD）方法能够通过使用更少的数据，达到接近完整数据的训练效果，提升模型训练效率，降低训练成本。
一句话概括：与其训练一个越来越大的“六边形战士”AI，不如组建一个各有所长的“复仇者联盟”，这篇论文就是那本“联盟组建手册”。
Claude Code中的Sub Agents是专门化的AI助手，可以被调用来处理特定类型的任务。
搞Agent开发也有开源一条龙了！这不，扣子的两款子产品已于近期正式开源：扣子开发平台（Coze Studio）和扣子罗盘（Coze Loop）。才过了一个周末，两个项目就拿下了9K Star~
上海交通大学研究团队提出了一种融合无人机物理建模与深度学习的端到端方法，实现了轻量、可部署、可协同的无人机集群自主导航方案，其鲁棒性和机动性大幅领先现有方案。
大模型伦理竟然无法对齐？
本文由上海 AI Lab 和北京航空航天大学联合完成。 主要作者包括上海 AI Lab 和上交大联培博士生卢晓雅、北航博士生陈泽人、上海 AI Lab 和复旦联培博士生胡栩浩（共同一作）等。
近年来，大型语言模型（LLMs）在复杂推理任务中展现出惊人的能力，这在很大程度上得益于过程级奖励模型（PRMs）的赋能。PRMs 作为 LLMs 进行多步推理和决策的关键「幕后功臣」，负责评估推理过程的每一步，以引导模型的学习方向。
新一代大型推理模型，如 OpenAI-o3、DeepSeek-R1 和 Kimi-1.5，在复杂推理方面取得了显著进展。该方向核心是一种名为 ZERO-RL 的训练方法，即采用可验证奖励强化学习（RLVR）逐步提升大模型在强推理场景 (math, coding) 的 pass@1 能力。
在复杂的开放环境中，让足式机器人像人类一样自主完成「先跑到椅子旁，再快速接近行人」这类长程多目标任务，一直是 robotics 领域的棘手难题。传统方法要么局限于固定目标类别，要么难以应对运动中的视觉抖动、目标丢失等实时挑战，导致机器人在真实场景中常常「迷路」或「认错对象」。
卷疯了，通义千问真的卷疯了。
随着 Coze 的开源，很多圈内的小伙伴猜测会对 Dify 造成直接威胁，也看到不少关于本地部署 Coze 的例子。随着 Coze 的开源，很多圈内的小伙伴猜测会对 Dify 造成直接威胁，也看到不少关于本地部署 Coze 的例子。
还在为 LoRA 训练不稳定、模型融合效果差、剪枝后性能大降而烦恼吗？来自香港城市大学、南方科技大学、浙江大学等机构的研究者们提出了一种简单的渐进式训练策略，CoTo，通过在训练早期随机失活一部分适配器，并逐渐提高其激活概率，有效缓解了层级不均衡问题，并显著增强了模型在多任务融合和剪枝等操作上的鲁棒性和有效性。该工作已被机器学习顶会 ICML 2025 接收。
多模态大模型 (MLLM) 驱动的 OS 智能体在单屏动作落实（如 ScreenSpot）、短链操作任务（如 AndroidControl）上展现出突出的表现，标志着端侧任务自动化的初步成熟。
CostFilter-AD通过构建异常代价体并滤波来优化异常检测，能精准识别微小缺陷，无需缺陷样本训练。可作为通用插件提升现有检测系统，帮助工厂提前发现缺陷，提高产品质量。
当前最强大的大语言模型（LLM）虽然代码能力飞速发展，但在解决真实、复杂的机器学习工程（MLE）任务时，仍像是在进行一场“闭卷考试”。它们可以在单次尝试中生成代码，却无法模拟人类工程师那样，在反复的实验、调试、反馈和优化中寻找最优解的真实工作流。
机器人能通过普通视频来学会实际物理操作了！ 来看效果，对于所有没见过的物品，它能精准识别并按照指令完成动作。
近日，来自 OPPO、耶鲁大学、斯坦福大学、威斯康星大学麦迪逊分校、北卡罗来纳大学教堂山分校等多家机构的研究团队联合发布了 Agent KB 框架。这项工作通过构建一个经验池并且通过两阶段的检索机制实现了 AI Agent 之间的有效经验共享。Agent KB 通过层级化的经验检索，让智能体能够从其他任务的成功经验中学习，显著提升了复杂推理和问题解决能力。
告别Next-token，现在模型微调阶段就能直接多token预测！
复合LLM应用 (compound LLM applications) 是一种结合大语言模型（LLM）与外部工具、API、或其他LLM的高效多阶段工作流应用。
微软「AI for Science」团队推出BioEmu，将蛋白质研究速度提升10万倍！从结构到功能，从折叠到突变，这个开源神器正改变药物研发的未来。
近年来，语言模型的显著进展主要得益于大规模文本数据的可获得性以及自回归训练方法的有效性。
大语言模型（Large Language Model, LLM）在复杂推理任务中表现卓越。借助链式思维（Chain-of-Thought, CoT），LLM 能够将复杂问题分解为简单步骤，充分探索解题思路并得出正确答案。LLM 已在多个基准上展现出优异的推理能力，尤其是数学推理和代码生成。
前几天晚上，我在 GitHub 上看到一个让我眼睛发直的项目。
持续适应性学习，即指适应环境并提升表现的能力，是自然智能与人工智能共有的关键特征。大脑达成这一目标的核心机制在于神经递质调控（例如多巴胺DA、乙酰胆碱ACh、肾上腺素）通过设置大脑全局变量来有效防止灾难性遗忘，这一机制有望增强人工神经网络在持续学习场景中的鲁棒性。本文将概述该领域的进展，进而详述两项6月Nature发表的背靠背相关研究。