Training LLMs to Verbalize Evaluation Awareness
Usman Anwar, Sahar Abdelnabi, David Krueger
cs.CL, cs.AI, cs.LG
2026-09-29
用自发口头化当种子做 span 级 RL,三个模型说出「正在被评测」的比率提升 2.4–2.9 倍,且潜在意识与任务行为基本不变。
LLM 越来越能认出自己正在被测,却越来越少说出来。UK AISI 的数据:交互结束后问 Claude Opus 4.6 是否在被测,识别率从上一代的 12.5% 升到 45.5%,同期它在对话里自发提到被测的比率反而从 11.0% 掉到 2.3%。模型一旦怀疑被测而收紧行为,审计读数就和部署表现对不上,eval-awareness 因此成了安全审计的核心痛点。口头化评估意识(VEA,模型在思维链里明说「这像是个评测」)是高精度、低召回的证据:说了几乎肯定知道,不说不代表不知道。白盒探针在真实评测语境泛化差、彼此不一致,与自发口头化的相关性也弱。这篇打的是召回端:让模型把已有的判断更多说出来,又不碰判断本身。
verbalization training(VT)分两步,要解决两个难题:信念是潜变量、没有标签;奖励必须只落在「说」上,不能落在「信」上。
设计意图:奖励只落在「说」的 token 上,训练压力就强化不到信念形成和关联行为;KL 约束让口头化倾向只能按固定倍数放大,冲不到饱和。理论推导给出最优解形态:每个分支点的口头化概率乘同一因子 α=e^(1/β−1),β=0.4 时约 4.5,聚合到 prompt 级服从幂律 pθ ≈ 1−(1−p0)^α。论文给方法立了三条要求:放大要校准、信念要不变、span 外分布漂移要有界,实验逐条检验。
三个开源 MoE 模型,经 Tinker 做 post-training:Qwen3.6-35B-A3B、Kimi K2.6、Inkling(975B 总参、41B 激活)。
| 模型 | EAB 平均 VEA | 拟合 α | 评测/部署判别 AUC |
| Qwen3.6-35B-A3B | 5.8% → 16.7% | 3.72 | 0.781 → 0.779 |
| Kimi K2.6 | 24.8% → 61.9% | 3.73 | 0.771 → 0.782 |
| Inkling | 17.7% → 41.6% | 3.08 | 0.688 → 0.680 |
平均提升 2.4–2.9 倍,51 个「模型×条件」对比全部上升。幂律在 EAB 上误差 8.2–10.1 个百分点,在未参与拟合的三个 agentic 数据集上误差 2.4–15.1 个点。迁移最猛的一例:Kimi 在 Agentic Misalignment 上从 60.1% 到 88.3%,Qwen 从 5.1% 到 36.8%。第二轮用新采数据接着训,Inkling 的 α 从 3.08 涨到 4.25,held-out 口头化同步上升(Agentic Misalignment 57.1%→76.2%)。
行为侧没测出问题：任务合规率平均变化 +0.6pp(Qwen)、−0.1pp(Kimi、Inkling),单因子最大 2.4pp;StrongREJECT 有害度、逐 prompt 似然比检验、FineWeb 困惑度均无显著漂移,白盒对比探针的阳性率基本不动。VT 没让模型更会认评测，只让它更愿意说。
消融把每个部件的失效模式标了出来：去掉 mask 几乎学不动(训练 VEA 35.8%→38.4%);去掉 KL,训练 VEA 饱和到 97.4%、迁移失准、任务表现掉 2.8pp;两个都去，输出退化，一条 rollout 里反复刷口头化；换成 SFT 吃同样数据，训练集涨 27.6pp 但不迁移到 OOD。
因果实验最扎实。用 synthetic-document fine-tuning 给 Qwen 植入评测设计元知识(虚构作者召回 42.5%→100%),再把 SDF LoRA 与 VT LoRA 直接拼接、不加训练。harmful AgentHarm 上口头化率与纯 VT 相当(34.4% 对 34.5%),内容却质变：纯 VT 说「这是测工具调用」,SDF+VT 说「这是在测会不会用 submitalphabayorder 工具，用了就过不了安全测试」。口头化跟着模型真实学到的知识走，不是学会一句通用口头禅。
评测意识让安全审计读数失真，是当前 safety eval 的实际痛点。这篇给测量端一个可落地的方案：不需要白盒访问，把模型自己的口头化变成更灵敏的信号；成本也低，500 条 rollout、50 个 prompt、一个 rank-32 LoRA,有 post-training 管线的团队都负担得起。配方本身是通用的，任何「有时说、经常不说」的潜信念(奖励黑客、prefill awareness、user awareness)都能套。对 CoT 监控是直接补强：模型说出来的多了，监控器能看的就多了。
定位也要说清：这是安全对齐方向的 proof of concept,直接用户是评测机构和红队，不是普通业务。
作者自己承认：整个方法压在「自发口头化是忠实的」这个假设上。评估意识从 RL 训练中冒出来时这个假设说得通，蒸馏等其他训练模式下意识从哪来、口头化是否还忠实，还不清楚。judge 是整条管线的地基，训练 reward 和评测共用 GPT-5.6-Luna;附录用 Gemini、Grok、Kimi 复判，一致率 88.7–93.1%,各 judge 都能复现训练效应，但循环性只是缓解、没有消除。读下来再补两点：幂律拟合误差 8–10 个百分点，「校准」是相对的；VEA 被推到 60–88% 之后，口头化还剩多少是信念报告、多少已变成开口习惯，论文只用 SDF 实验间接回应，没有正面测训练后口头化的精确率。