NeurIPS 2026 | 如何让LLM在推理中不断进化
NeurIPS 2026 | 如何让LLM在推理中不断进化隆德大学与Google DeepMind提出仅前向搜索方法,利用LLM前向传播中激活值的角度集中度筛选SVD秩并实施降秩,在无需反向传播的情况下实现下游任务自适应,较LASER-Grad降低峰值内存并提高加速比。
搜索
隆德大学与Google DeepMind提出仅前向搜索方法,利用LLM前向传播中激活值的角度集中度筛选SVD秩并实施降秩,在无需反向传播的情况下实现下游任务自适应,较LASER-Grad降低峰值内存并提高加速比。
此次提出的 ConvexLLM,通过创新的 C-Gate 架构,将语音信息映射至大语言模型原有文本词向量的凸包中,使模型能够充分发挥已有的知识储备与推理能力。在 VoiceBench 等多项基准测试中,ConvexLLM 取得了同量级开源模型中的领先表现,为语音与语言的统一建模提供了新的技术路径。
随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。
中国科学院自动化研究所、美团等机构推出LLM Agent递归自我改进综述,以Prompt、Memory、Skill和Harness四条主线及When、Where、How三问、七步生命周期,梳理Agent将交互经验转化为可验证、复用且持续维护的改进机制。
海光布局Agentic时代算力基础设施,以国产CPU和DCU为底座,提供模块化数据中心产品方案及AgentServer Flex智能体算力矩阵,通过编排沙箱、LLM推理、向量库及记忆节点适配智能体全生命周期需求。
上海交通大学赵海教授团队在arXiv发布BriLLM-MetaPred,首次将AGI数学理论推导的MetaPred原语落地为可运行语言模型,其在约13.2M参数规模下的预测性能与同规模GPT基线相当。
论文中的一道菜单题,看起来只需要做一次简单加法:一张 Funghi 披萨 6.90 欧元,一张 Prosciutto 披萨 7.90 欧元,总价是多少?
在大型语言模型(LLM)的无损推理加速中,推测解码(Speculative Decoding)已成为工业界标配。以 EAGLE-3 为代表的自回归草稿模型虽然预测准,但每多猜一个 token 就要多跑一步串行前向;而受扩散语言模型启发的 DFlash 将草稿生成彻底并行化 —— 一次骨干网络前向即可同时吐出整块候选 token,大幅压缩了起草耗时。
中国LLM讨论纪要认为,反蒸馏措施正令国产模型蒸馏成本上升5—10倍甚至20倍,算力与融资成为竞争核心,中美模型差距或由3—4个月拉长至约12个月。
在 LLM/MLLM 领域,基于 verifier 奖励的强化微调(Reinforcement Fine-Tuning, RFT,如 GRPO)在激发复杂推理能力方面展现出显著优势。由于 On-policy 优化的特性,很多研究指出 RFT 相比传统的监督微调(SFT)天然具备更强的抗遗忘能力。