NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件
8793点击    2026-11-22 11:13

罗马神话中的时间之神 Janus,有两张面孔,能够同时望见过去和未来。


可大模型学会了新技能,却往往忘了旧知识。


这种现象被称为「灾难性遗忘」(Catastrophic Forgetting),是大模型微调面临的经典难题。


长期以来,研究者一直试图在训练过程中为模型设置约束,让它学习新知识的同时,尽量不忘记过去。


但现在,一项来自清华大学与滴滴自动驾驶的联合研究,提出了一个不同的思路:


与其在训练过程中小心翼翼地防止遗忘,不如先让模型完成微调,再对参数进行针对性修正。


这项研究提出的 JANUS 框架,不改变原有微调流程,只需对已经完成微调的模型进行后处理,就能恢复部分受损的历史知识,同时尽可能保留新任务能力。


在 LLaMA-2-7B 的数学和代码任务实验中,JANUS 将历史知识保持指标分别从 67.55%和 79.71%提升至 106.16%和 109.83%,而新任务能力指标仅下降约 1 个百分点。


目前,该工作已被 NeurIPS 2026 接收,论文与代码已公开。


NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件


  • 论文标题:Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
  • 论文链接:https://arxiv.org/abs/2609.19985
  • 代码链接:https://github.com/zhengzl18/JANUS


01 大模型为什么总是「学了新的,忘了旧的」?


对于大模型而言,学习新任务和保留旧知识,往往是一对难以兼顾的目标。


前者要求模型具备可塑性(Plasticity),后者则要求模型保持稳定性(Stability)。


问题在于,两者往往相互牵制。一方面,模型需要不断调整参数,以适应新的任务和数据;另一方面,这些参数的变化又可能干扰预训练阶段已经建立的知识表示。


现有一些抗遗忘微调方法采用「子空间正交」约束,限制参数更新进入可能干扰旧知识的方向。


但 JANUS 研究团队注意到,这类限制可能比真正防止遗忘所需要的条件更加严格。


JANUS 正是从这里找到突破口。


02 解锁模型潜能:从「充分条件」到「充要条件」


JANUS 所做的第一件事,是重新审视抗遗忘所需要满足的数学条件。


子空间正交约束要求参数更新量 ΔW 与历史知识M各自张成的子空间相互正交,也就是:ΔW · M = 0


它确实能够减少干扰,但也同时给大量方向「上锁」。当历史样本增多时,可供模型学习新任务的空间会迅速缩小。


简言之,这一条件是充分的,但不必要。


JANUS 的出发点是:网络中的参数是一个共同发挥作用的整体,它们可以通过彼此之间的协作,共同分担抗遗忘的责任。


因此,方法将「每一行参数各自实现抗遗忘」改写为「所有参数共同协作实现抗遗忘」,也就是:Tr(ΔW · M) = 0


这一变化看似细微,却隐含了一个关键的视角转化:


ΔW · M = 0 关注的是 ΔW 的行空间与 M 的列空间,要求这两个相对低维的子空间之间正交;Tr(ΔW · M) = 0 则把它们视为高维参数空间中的两个向量,约束向量之间的正交。


这一条件不仅充分,而且必要。


于是,模型能够在保留旧知识的同时,获得更大的参数更新空间,用于学习新任务。


NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件


子空间正交与参数空间正交对比


在此基础上,研究团队设计了 JANUS(JAcobian NUll Space Projection)算法,通过雅可比零空间投影,将微调后的参数更新量矫正到对旧任务损失一阶不变的方向。


值得注意的是,这一过程并不需要嵌入原有训练流程。


模型可以先通过全参数微调、LoRA 等方法学习新任务,随后再利用 JANUS 对已完成的参数更新进行矫正。


这也使 JANUS 区别于现有的训练时抗遗忘方法:它尝试在模型已经学会新任务之后,再修复微调对旧知识造成的影响。


03 一次矫正还不够:让模型沿着「安全路径」逐步修复记忆


不过,训练后的参数矫正并不是简单地完成一次投影。


旧任务梯度所指示的无遗忘更新方向只是局部的。这意味着,当参数变化幅度较大时,最初计算得到的方向可能不再准确。


如果直接执行一次大跨度投影,最终参数仍然可能偏离历史损失保持不变的区域。


为解决这一问题,研究团队进一步提出了「多步自适应矫正」机制。


其核心思想是:不一次性完成全部修正,而是「小步多次」进行修正。


每完成一步,JANUS 都会重新计算当前位置的雅可比矩阵,提供下一步的无遗忘更新方向。


同时,算法引入 JANUS shift 指标,通过比较不同位置的雅可比矩阵行空间变化,自适应选取合适的步长。


可以将其理解为沿着历史任务损失的等高线前进:每次走一小步,重新确认等高线的方向,再继续下一步。


此外,研究还引入 Ghost 操作与 SVD 压缩等技术,以降低大模型参数矫正过程中的时间和空间开销。


对 7B 参数的模型,只需 1 张 A100 显卡,30 分钟,即可完成修正。


NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件


多步自适应矫正:在局部可信区域内小步前进


04 旧知识恢复至预训练水平以上,新能力损失约 1 个百分点


JANUS 究竟能够在多大程度上缓解灾难性遗忘?


研究团队在 LLaMA-2-7B 和 LLaMA-3-8B 上进行了系统评测,覆盖数学、代码以及指令遵循三类下游任务。


对比方法包括普通微调方法(全参数微调、LoRA、PiSSA)和抗遗忘微调方法(CorDA、MiLoRA 和 LoRA-Null)。JANUS 应用于 PiSSA 的训练结果,记为 JANUS-P。


论文使用三个综合指标衡量稳定性与可塑性:AP₁ 表示历史知识保持程度,即稳定性;AP₂ 表示新任务能力,即可塑性;AP 为二者的算术平均。


在 LLaMA-2-7B 上, JANUS-P 取得了尤为突出的结果。


NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件


LLaMA-2-7B 上的实验结果


在数学任务中,JANUS-P 将稳定性指标 AP₁ 从 67.55% 提高到 106.16%,而可塑性指标 AP₂ 仅下降 1.02 个百分点。在代码任务中,AP₁ 从 79.71% 提升至 109.83%,AP₂ 仅下降 0.75 个百分点。


在指令遵循任务上,JANUS-P 同样将稳定性提升至接近预训练模型的水平,并获得更高的综合指标。与其他抗遗忘微调方法相比,JANUS-P 几乎都取得了稳定性与可塑性的双重提升。


NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件


稳定性-可塑性对比


进一步实验显示,这种恢复效果能够跨基础模型、下游任务和原始微调方法稳定出现,说明 JANUS 并非绑定于某一种训练方案。


05 结语:从「训练时限制」到「训练后修复」,大模型持续学习的新思路


JANUS 最值得关注的地方,或许不仅在于具体的性能提升,更在于它改变了抗遗忘问题的处理方式。


过去,许多方法试图在模型学习新任务的过程中,通过限制参数更新来避免破坏旧知识。


JANUS 则将这一约束转移到了训练之后。


这一变化意味着,抗遗忘机制不必与特定的微调算法深度绑定,而有机会成为一种相对独立的模型后处理环节。


对于需要频繁适配不同任务、持续更新能力的大模型而言,这提供了一条具有实际应用潜力的技术路径,展示了一种新的可能:


大模型学习新知识与保留旧知识之间的矛盾,未必只能通过在训练时施加更严格的限制来解决。


有时候,让模型先学会,再修正,也许是一条更灵活的道路。


作者团队简介


该论文第一作者郑志龙,清华大学智能驾驶课题组(iDLab)博士生,导师为清华大学车辆学院、人工智能学院李升波教授。该工作由清华大学与滴滴自动驾驶深穹远航实验室(DiDi Voyager Labs)合作完成。


文章来自于微信公众号 “机器之心”,作者 “机器之心”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI

2
微调

【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。

项目地址:https://github.com/InternLM/xtuner