偏好对齐也能在推理时完成！256-16384个控制参数达到DPO水准

让大模型稳定地按人们的期望行动，是偏好对齐的核心目标。

RLHF、DPO等方法通过反馈优化模型；与此同时，已有研究发现，后训练提高了单次生成的成功率，而基座模型通过多次采样，甚至能生成更多样的正确答案。

在这些情形下，一部分对齐问题就落在了“已有行为如何被表达出来”：支持目标的计算已经存在，是什么阻碍它稳定地主导生成，又能否直接纠正？

来自成都大学、北卡罗来纳州立大学、复旦大学、澳大利亚凯斯林大学和澳门大学的研究团队围绕这一问题展开研究，提出了直接隐状态对齐（DHSA），将承载偏好计算的推理时隐状态作为直接适配空间。

△RCM量化偏好相关的内部作用，DHSA直接控制推理时状态。采样轨迹与问答为概念示意。

同一个回答背后，可以存在相反作用

每生成一个词，注意力头、前馈模块等组件都会向共享残差流写入更新，影响后续计算，最终形成下一词的概率分布。支持目标的计算即使已经出现，也可能被其他作用盖过；这样的选择接连发生，影响整段回答如何展开。

外部偏好描述的是最终行为，模型内部运行的却是层层计算。仅找到对生成“影响大”的组件，还无法知道它在推动目标还是抵消目标。团队因此提出残差竞争图（Residual Competition Maps，RCM），将外部指定的偏好映射回推理时的原生计算。

以RCM-Zero为例：对同一输入，比较组件正常写入与写入置零，让模型继续完成后续计算。如果正常写入时，目标行为相对备选行为更占优，这项原生作用就在支持目标；反之是在抵消目标。两者的差值给出作用的方向与强度，让偏好在推理中如何形成，有了可量化的内部描述。

借助RCM，团队在不同偏好任务中观察到：同一次预测形成时，支持目标与抵消目标的作用可以共存，论文称之为残差竞争，其普遍程度随任务而异。有些组件平均支持目标，有些平均抵消目标；同一组件也可能随输入改变作用方向。

这种竞争也出现在模型已经给出目标回答的样本中。DPO训练会显著重组内部作用，并能削弱部分抵消效应，但这些效应仍可能保留。输出更符合偏好，并不意味着内部作用已经一致。

△ConFiQA中的内部竞争及DPO带来的重组。阈值单位为logit-margin变化量。

一个知识冲突案例尤其直观：模型原本坚持自身知识，仅将一个注意力头的输出置零，它就转向按给定资料回答。输入和基座权重都没变，一处局部状态变化便改变了生成的回答。

把对齐接入正在进行的推理

RCM提供了干预位置的因果依据，生成案例也展示了局部状态改变如何影响最终行为。团队由此提出DHSA，将承载偏好计算的推理时隐状态作为直接适配空间，基座权重保持冻结。

DHSA允许在不同状态、位置和粒度上施加控制。因果激活状态转移（CAST）是论文给出的具体实现：RCM选出少量偏好相关接口，CAST通过常向量或低秩映射学习局部调整，在组件写回残差流之前改变状态，让模型从这里继续生成。

状态如何变化、用什么目标学习，可以分别设计。本文以DPO形式的成对偏好目标训练CAST，只更新控制器。DHSA的适用范围则可以继续拓展到其他状态变换与学习目标，围绕推理时的偏好形成过程设计控制。

干预时机同样可以选择：既覆盖提示处理与生成全过程，也可以只在提示处理（prefill）阶段介入，通过改变提示计算与缓存状态影响后续生成。控制器与基座权重分离，能够在推理时启用或移除，也能叠加到DPO模型上。

少量控制参数达到DPO水准

实验在ConFiQA、IMDb和TL；DR上展开，分别模拟实际多跳、多源事实生成中的RAG知识冲突、考察情感控制与开放式摘要。模型包括GPT-2-large（0.774B）、GPT-J（6B）、Qwen2（7B）、Llama-3及其LION版本（8B）；RCM定位实验还覆盖Qwen2.5（14B）。

选位对照支持了RCM对干预的指导作用。在三类任务中，CAST部署时仅启用256—16,384个控制参数，就达到了与DPO相竞争的对齐水平。部分设置仅在prefill阶段干预即可；将SFT上学到的控制器迁移到DPO模型，只校准强度，还能进一步改善表现。

△IMDb情感控制。左：选位对照；右：奖励与token KL。SV/LR为向量/低秩控制器，黑色菱形为DPO。

△问答与摘要结果。摘要胜率相对人类参考摘要；T为迁移控制器，NT为在DPO上训练。

这些结果表明，RCM提供的因果信息能够指导有效控制；少量局部调整可以影响整段回答的内容选择与压缩，支持开放式生成。prefill干预进一步说明，早期状态的调整可以持续影响后续生成。

面向可调节的推理时对齐

RCM与DHSA把外部偏好连接到了可测量、可干预的内部计算。对于已经可达的目标行为，研究者能够追踪原生组件如何推动或抵消其表达，并沿着这些因果线索直接调节生成。机制分析由此进入实际对齐，也为冻结的基座提供了独立于权重、可按需启用的偏好适配方式。

组件作用会随输入改变，也为更灵活的控制留下了空间：未来可以探索根据当前输入与生成状态，动态选择干预的位置、时机和强度，训练方式也有拓展空间：将PPO、GRPO等强化学习方法，以及MOPD等蒸馏方法用于隐状态控制器训练，仍有待探索与验证。推理时对齐有望由此适应更多需求，并与参数优化进一步协同。

项目提供可复现代码与可扩展框架，解耦干预时机、位置选择、控制方法及控制器训练，便于编排实验。

论文标题：Direct Hidden-State Alignment: Mapping and Controlling Preference Expression in LLMs
论文：https://arxiv.org/abs/2609.33298
项目：https://github.com/abovefiramament/DHSA

文章来自于"量子位"，作者 "DHSA团队"。