LeCun重磅成果单挑Scaling Law！1.09亿参数干翻720亿，训练方式比堆参数更本质
LeCun重磅成果单挑Scaling Law！1.09亿参数干翻720亿，训练方式比堆参数更本质660倍的参数差距，结果小模型赢了？！
来自主题: AI技术研报
5874 点击 2026-11-02 16:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
660倍的参数差距，结果小模型赢了？！
让大模型「多想一会儿」，今天几乎等同于让它多写一些字：先生成一段思维链，再给出答案。
一道试题对人来说有多难，能否从大模型的解题过程中找到线索？
“在每一个有创造性活动的领域里，一个人的Taste，加上他的能力和机遇，决定了他的风格；而他的风格，反过来决定了他的贡献。因此Taste和风格之于科学研究，就像它们对文学、艺术和音乐一样至关重要。”
人类用了两千年的模拟计算，开始被重新定义了。
数学题交给数学老师，代码题交给代码老师，医学题交给医学老师。把各有所长的专家请到一起，就能让同一个小模型学会多种能力吗？
昨天做了一份动态图解《DeepSeek 的 Super-agent 架构》，然后便看到 Max（前段时间加入了 LobeHub）发了个朋友圈
上周六的时候，DeepSeek发了他们一篇很长的技术文章，叫《Super-agent设计探索：迈向更自主的Agent系统》，细细读完了，非常棒的架构，对很多开发者来说，都非常非常值得学习。
最近，DeepSeek又来炸场了。
「让AI像牛顿一样思考」，这件事，终于有望了。
让大模型「多想一会儿」，今天几乎等同于让它多写一些字：先生成一段思维链，再给出答案。
长上下文已经成为大语言模型重要的基础能力，但长上下文也给模型架构带来了一个现实问题：全注意力能够直接建模任意位置之间的关系，却带来随序列长度显著增长的计算和显存开销；滑窗注意力和线性注意力更加高效，但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。
机器人终于不只是知道往哪走，还知道该在哪里停、以什么方向面对目标，甚至停稳之后，就能直接上手干活。
当大模型从“单兵作战”走向“多 Agent 协同操作电脑（Computer Use）”，如果队友 Agent 读了旧缓存报假消息、下发了互相矛盾的指令，甚至锁死了共享文件，主控 Agent 该听谁的？
统一多模态模型（Unified Multimodal Models, UMMs）通常为理解和生成分别使用不同的视觉表示：用 ViT 提取理解所需的语义特征，用 VAE 提供生成所需的潜变量。这样一来，同一张图像要以两种 token 进入上下文，视觉上下文随之变长；这种双流接口也不同于视觉-语言模型（VLM）常用的单一视觉流，难以直接沿用成熟的 VLM 预训练流程。
想象一项任务：把相机交给AI，让它进入一间从未见过的虚拟房间。没有预先给定的物体坐标，也没有替它安排好的参观路线。它需要决定朝哪里转、向哪里移动、何时再拍一张图，并最终说清楚各个目标物体在三维空间中的位置。
在电子游戏里，玩家拥有一项近乎无敌的特权——无限读档（env.reset）。
Google Cloud AI Research等团队发布T2J-Bench，以63个整仓任务评测Coding Agent将PyTorch迁移至JAX的行为保真度，并提出TwinHarness，使Claude-Code与opus-5组合的总体得分从0.649升至0.723，相对提升11.4%。
阿里数据团队基于117个模型技术报告筛选158个评测基准，提出基准健康指数（BHI），按能力区分度、抗饱和度和影响力诊断基准，论文获NeurIPS 2026 Evaluations and Datasets Track（Oral）录用，Humanity's Last Exam（HLE）综合第一。
清华大学张强教授团队联合北京清屿科技、香港大学和北京怀柔实验室提出EvoSim，使AI从实验偏差中追查机制、修订方程并积累建模方法，并在电池快充析锂与动态电压预测场景完成验证。
DeepSeek Harness 团队发表技术文章，介绍由 Router 统筹、Worker 执行的 Super-agent 架构，支持跨会话并行、主动响应外部事件和长期在线，并已用于内部研发协作，相关原型 dsh-superagent-prototype 已开源但尚非正式产品。
ScienceVision基于真实三维数据构建250道跨学科科学3D评测题，GPT-6-Astra搭配Codex最高仅得0.53分，12个前沿模型均未在五科同时领先，显示AI科学三维观察与推理能力仍有限。
无问芯穹（Infinigence AI）以国产Agentic Infra让GPU算子优化Agent登顶NVIDIA Research的SOL-ExecBench四项赛道，并通过Skills、共享Memory和隔离评测形成自我迭代闭环，揭示资源调度与工作流设计对RSI效率的影响。
清华大学研究团队提出动作级在线蒸馏ActionOPD，在学生实际访问状态下以语义动作监督策略优化，使轻量Agent学习教师决策而非模仿Token，并支持黑盒接口、跨家族蒸馏及Self-ActionOPD自蒸馏。
多机构团队提出OpenDS任务范式并构建含200道任务的OpenDS-World评测基准，GPT-6 Astra以39.0%准确率居首，显示AI Agent在真实网络长程搜索与证据整合方面仍面临重大挑战。
清华大学、智元与无问芯穹提出群体经验学习（Collective Experience Learning，CEL），在96台机器人上验证FERT与FATS，使五项任务总体成功率达97.5%，手机包装任务成功率从86.7%升至98.3%。
Value as Memory（VaM）将近期价值预测作为任务进度记忆并结合离线到在线真机强化学习，使机器人在纸盒装配中连续自主运行4小时、成功率超过95%，最终任务成功率较无价值缓存版本提升29.4%。
Genspark的视频Agent工作台，Genspark Media Studio，正式发布了！
5600亿总参数，主攻个人智能体与复杂工作流。
来自新加坡国立大学、可灵 AI 和香港科技大学的研究团队提出了 DiffusionART，一种面向图像和视频生成的在线 Diffusion RL 算法。该方法支持采用 ODE 采样，不要求奖励模型可微，也无需额外调参，可自然适配标量奖励、二值偏好奖励等多种奖励形式，具有极高的样本效率。