NeurIPS'26 | 注意力也能弃权！改善长上下文、低比特鲁棒性

增强模型的表达能力，可以让Transformer更灵活地读取和整合信息。Attention Residuals（AttnResidual）沿着这个方向，将注意力从token之间的信息交互扩展到网络深度，让每个子层学习选择哪些历史层输出。

但新增的选择能力也带来了新的问题。在研究团队评估的AttnResidual设置中，模型对初始token的注意力集中更加明显，激活异常值也显著增大。这些变化在低比特量化和长上下文评测中，进一步表现为性能退化。

来自西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出OASIS，为这种双层信息路由提供显式的null选项，并用token层的null概率调整depth层的分支选择。该研究已被NeurIPS 2026接收。

论文：https://arxiv.org/abs/2605.17887

代码：https://github.com/robinzixuan/OASIS

相对于Vanilla AttnResidual，OASIS在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上，平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，并将W4A4 GSM8K Pass@1平均相对提升42.11%。这里的提升是相对比例，准确率的绝对变化见后文表格。

从token选择到跨层选择

普通Transformer的self-attention决定一个token应该读取哪些token。AttnResidual则增加了一次沿深度的选择：同一个token在当前子层，应该使用哪些历史子层产生的表示。

在普通残差连接中，初始embedding和此前子层的输出以固定权重累加。AttnResidual将这种累加改成可学习的加权混合，再把混合结果送入当前attention或MLP子层。其depth query是当前目标子层的可训练向量，key来自经过归一化的历史输出，value则是历史输出本身。

这样，模型同时进行两种选择：token层选择上下文位置，depth层选择历史计算结果。两种选择都由softmax归一化，而普通softmax要求候选的权重总和等于1。

如果一次读取只需要很小的贡献，模型仍要把全部概率分给真实token；如果一些历史分支没有提供多少有效信息，depth层仍要在真实分支之间分配全部质量。两处归一化都缺少显式的「这次不选」选项。

双重归一化下的sink与异常激活

Attention sink指某些位置长期吸收大量注意力，即使这些位置本身承载的信息有限。论文中的注意力图显示，在所研究的AttnResidual模型中，序列起始token上的集中条带比原始Transformer更强，并随网络深度持续出现。

图1 论文中的注意力诊断。上排为原始Transformer，下排为AttnResidual，分别展示第0、9、14层。起始token上的竖直条带反映注意力集中。来源：论文Figure 2。

异常激活会扩大数值范围，使有限的量化刻度更难兼顾大多数普通数值。以LLaMA-3.2-1B为例，Vanilla AttnResidual的平均激活峰度为91.71，最大激活幅度为84.43；OASIS将两者降至3.02和12.25。

论文还给出了条件性的机制分析：在值向量满足规定的分离条件时，普通softmax若要产生足够小的attention输出，可能必须把大量概率集中到低范数候选上。沿深度的混合也存在类似的条件性集中约束。这为同时处理token和depth两层归一化提供了动机。

两处null路由加一次跨层协调

OASIS首先沿用Softmax₁，为真实候选增加一个零值null选项。对真实候选i，其权重为：

分母中的1对应一个固定logit为0的null候选。真实候选的权重可以合计小于1，剩余质量进入null，从而减小真实内容的总贡献。论文将token和depth两处都使用Softmax₁的版本称为AoS。

但两层各自拥有null选项，仍未解决两层如何协调的问题。一个分支的attention heads已经较多地选择null，depth路由却可能继续为这个分支分配较高权重。OASIS因此进一步引入token-to-depth null coupling。

具体而言，在每个token位置，OASIS对一个源分支内各attention head的null概率取平均，得到分支统计量ψᵢ，再与候选变换分支的平均值比较，用差值调整depth logit：

null概率高于分支平均水平，depth logit就降低；低于平均水平，则相应提高。初始embedding分支没有token attention的null统计，其logit保持不变。调整后的logits再经过depth Softmax₁，得到最终的混合权重。

图2　OASIS的双层路由结构。两处Softmax₁提供null选项，右侧coupling将token层的null统计注入depth logits。来源：论文Figure1。

OASIS保留原有训练目标，修改的是路由机制。token层的null对应零值贡献，depth层的null则衰减真实源分支的混合贡献；depth null本身并不意味着直接保留上一层hidden state。实验通过继续训练适配这些改动，随后再进行量化评测。

组件消融直接检验coupling的贡献

团队在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上验证方法，使用BookCorpus和Wiki40B/en进行继续训练，并与标准AttnResidual、OutEffHop、裁剪及门控等方案比较。实验采用三个独立随机种子。

首先看Qwen3-0.6B的W4A4 GSM8K消融。只加入token null、只加入depth null、同时加入两处独立null，以及加入coupling，分别得到以下结果：

表1 Qwen3-0.6B的组件消融，GSM8KPass@1越高越好。数据来自论文Table8。

两处独立null已经改善性能，而coupling在此基础上再提高4.67个百分点。完整OASIS相对Vanilla AttnResidual提高13.21个百分点。这组结果直接支持了跨层协调的作用。

低比特下保留更多模型能力

在语言建模与数学推理中，OASIS同样改善了量化后的表现。W8A8表示权重和激活均使用8bit，W4A4则均使用4bit；论文中的W4A4结果采用OmniQuant。下表摘录论文Table2的均值。

表2 三模型的量化结果。PPL越低越好，GSM8KPass@1越高越好。

以Qwen3-0.6B为例，OASIS的FP16 GSM8K为62.68%，量化至W4A4后保留58.88%；Vanilla AttnResidual则从FP16的62.58%降至45.67%。两者全精度表现接近，但低比特下的能力保留明显不同。

这些改善也出现在其他任务上。Qwen3-0.6B的ThePileW8A8PPL从44.52降至11.58；W4A4 MMLU、TriviaQA和MATH500准确率分别从33.21%、12.09%、15.41%提升到41.00%、16.14%、21.51%。

12K长上下文中恢复退化的性能

长上下文实验比较了训练最大序列长度为12K的模型。在RULER和LongBench上，Vanilla AttnResidual明显低于原始backbone。OASIS缓解了这部分退化，并明显优于只有独立null路由的AoS。

表3 12K tokens的长上下文结果，数值为论文原始分数，越高越好。数据来自论文Table 3。

相对于Vanilla AttnResidual与原始backbone的差距，OASIS在两模型上分别恢复了77.3%和80.3%的RULER性能损失，以及89.1%和91.8%的LongBench性能损失。

全局attention统计也支持了sink的缓解。这些统计覆盖所有层、attention heads、query位置及评测样本：Qwen3-0.6B分配给BOS的平均质量从0.4990降到0.0013，LLaMA-3.2-1B则从0.5630降到0.0099，说明变化并不限于少数可视化样例。

让新增的路由能力稳定发挥

OASIS从AttnResidual的双重归一化出发，连接了表达能力、信息路由和低比特鲁棒性。模型拥有更灵活的选择接口之后，还需要表达候选内容应当贡献多少，以及不同选择层级之间如何协调。

显式null路由提供了可衰减真实内容贡献的接口，token-to-depth coupling则让跨层选择能够利用token层的null信号。

组件消融、量化评测和长上下文实验共同表明，这种协调有助于所研究模型更稳定地发挥新增的路由能力。

参考资料：

https://arxiv.org/abs/2605.17887

文章来自于"新智元"，作者 "LRST"。