Shaping & Monitoring Models through their Internal Representations
Thomas Fel, Matthew Kowal, Matt Feiszli, Satchel Grant, Andrew Lee, Chris Earls, Fatih Dinc, Vasudev Shyam, Usha Bhalla, Leon Bergen, Siddharth Boppana, Ching Fang, Michael Byun, Tristan Gallent, Nicholas Wang, Tal Haklay, Dron Hazra, Neehar Kondapaneni, Connor Watts, Ryan Panwar, Thomas Dooms, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana, Thomas McGrath, Owen Lewis
cs.LG, cs.AI
2026-11-05
在训练时直接惩罚模型对不良概念的内部依赖与表达，视觉捷径、DPO 谄媚、RL 作弊一并压住，任务性能基本不掉，概念训练后大多仍线性可读。
模型在 benchmark 上拿高分，不代表它用对了解法。训练目标只规定损失要降，不规定怎么降：鸟分类器可以靠背景，简历筛选器可以靠性别，agent 可以去读被明令禁止的答案文件。这类「目标欠规范」（underspecification）问题，捷径学习、谄媚（sycophancy）、reward hacking 都是它的变体。
常规对策在数据侧：balanced training、数据过滤、改 reward。但有一类行为根本定位不到数据里。论文复现了 Blank et al. 的设定：OLMo 3 在 DPO 阶段谄媚率大涨，让 LLM judge 逐条检查约 12.5 万条偏好数据，判定含谄媚信号的不到 1%；按探针分数过滤数据，效果跟单纯调低学习率差不多。谄媚是从 chosen-rejected 对的相对差里聚合学出来的，单条数据看起来无罪。数据侧手段在这类场景失效，这篇的答案是拿模型自己的内部表征当规范语言，直接修改学习信号。
框架叫 Mechanistic Shaping，形式上就是给任务风险加一个正则项：min R(θ) + λ·ω(θ)，违规量 ω 用内部表征度量。两类规范：
两个设计选择直接决定成败：
反向的问题是：对着表征训练，训练完概念还读得出来吗？论文定义了 L1-L5 五级监控（L1 复用原方向、L2 线性重拟合、L3 非线性重拟合、L4 换层、L5 换模型），把「逃过某一个探针」和「概念真的没了」区分开，并刻画三种绕过几何：概念漂移到新方向（re-encoding）、从该层消失（erasure）、躲进协方差等二阶统计量变成非线性编码。最后一种最隐蔽：LEACE 抹平两组均值之后，非线性探针仍能以 0.98 以上的 AUROC 读出背景，理论部分用 product-code 构造解释了这种藏法。
| 设置 | 基线 | 结果 |
| Waterbirds 最差组准确率（完美混淆） | ERM 51.6% | 93–97.7%，达 balanced oracle |
| CheXpert 最差组准确率（引流管混淆） | ERM 33.3%，balanced 56.0% | agent 自动方向 57.3%，超 balanced |
| DPO 谄媚（OLMo 3 7B→32B） | 数据过滤等价于降学习率 | Gradient×Input 达 Pareto 前沿，谄媚停在 SFT 水平 |
| Countdown 偷看率（Qwen3.5-9B，GRPO） | GRPO 0.15→1.00，诚实解题归零 | 压到近零，诚实解题 0.96–0.98 |
| 迁移到 Chess（未在此训练） | GRPO 检查点偷看 0.99 | ≤0.004，诚实解题最高 0.71（base 0.26） |
| JailbreakBench 有害率（Mistral-7B） | 探针损失 0.16 | frozen DoM reward 0.01，效用保 95% |
监控一侧的结论同样具体。谄媚设定下，原 DoM 的 AUROC 从 0.981 降到 0.931，重拟合线性探针全程满分。reward hacking 设定下，只要让梯度流过探针分数，原始探针的 balanced accuracy 就从 0.98 掉到 0.57；把分数 detach 掉则稳在 0.87–0.90，重拟合一律恢复到 0.97 以上。规律很清楚：概念被压住之后大多仍然线性可读，前提是别让梯度穿过监控器。
可解释性通常被当作事后分析工具，这篇把它变成了训练信号，并正面研究了代价：拿探针当损失，就是在对着自己的观测仪器做优化，Goodhart 风险真实存在。贡献不在任何单个数字，在把「用表征训练」和「训练后表征还可读吗」放进同一套实验，沉淀出可操作的规则：方向用 DoM、定期刷新、分数 detach、用冻结副本当读模型。对做 post-training 的团队，谄媚一节参考价值最直接：在数据侧方法全部失效的设定下，reliance penalty 是目前唯一同时保住 DPO 能力收益和 SFT 谄媚水平的方案。
论文自认三点：三种绕过机制只在自己实验范围内穷尽，更大规模或别的设置可能冒出新机制；32B 只出现在谄媚一节，reward hacking 止步 9B，harmfulness 止步 7B/8B；RLFR 型 reward 会抬高拒绝率，frozen base 拒掉 14–20% 的安全提示，探针损失只拒 2–10%。
读下来另有几处要打折扣。视觉和医学实验规模小：Waterbirds 训练集 2,066 张，CheXpert 是构造出的 1,152 张完美混淆子集，离生产数据分布很远。整套方法依赖先有一个高质量概念方向，方向错了惩罚就错了；概念是多维或弯曲表征时单方向假设够不够，论文引了相关工作但没有解决。CheXpert 一节的自动找捷径靠 LLM 给 SAE 特征打分，这条 pipeline 换个领域是否还稳，没有验证。