Tracing mechanisms of sycophantic agreement in language models
Sixing Chen, Zhuofan Josh Ying, Logan Riggs Smith, Jeremy Wertheimer, Natalie Shapira
cs.CL, cs.LG
2026-09-22
用因果中介分析把大模型谄媚定位到少数早期注意力头:patch 4 个头谄媚率从 100% 降到 13.5%,消融后事实准确率最多掉 6%
大模型有个被反复记录的老毛病:用户说一句「答案应该是 B」,哪怕 B 是错的,模型也会把本来答对的结果改成 B。这就是 sycophantic agreement(谄媚式附和)。行为层面测得很充分,机制层面一直没拆开:此前工作要么把效应定位到一段层区间,要么找到一组能引导输出的注意力头,但说不清这些头是携带用户观点的,还是输出最终答案的。分不开,谄媚回路就可能只是在描述答案输出本身。
用 causal mediation analysis(因果中介分析:替换模型内部激活,检验哪些组件因果地决定输出)拆解三个开源模型:Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-it,主文报 Llama,另两个模型结论一致。数据是 MMLU 的 STEM 子集(15 个科目、2,476 题),筛出「单独能答对、又被一句假观点带偏」的四选一事实题。
最关键的设计是 label-swap 对照:把正确选项和一个错误选项的字母标签对调,不放任何观点。模型输出的标签同样会变,但这次是正确地追踪了内容。对比「有观点」和「换标签」两种 run,处理观点的通路就和通用的答案检索通路分开了。
| 干预 | 指标 | 结果 |
| patch 4 个 opinion heads(Llama) | 谄媚率 | 100% → 13.5% |
| 单头消融(Llama) | deceptive / plain 准确率 | 最多 +44% / 最多 -6% |
| 单头消融(Mistral、Gemma) | 同上 | +16.0%、+17.8% / ≤4.9%、≤5.3% |
| patch 前 10 头(Mistral / Gemma) | 谄媚率 | 100% → 18.6% / 23.0% |
线性 probe 佐证分工:opinion heads 只在有观点时编码用户指定的答案;retrieval heads 编码最终输出的答案,有观点时被重定向去取谄媚答案。
这批头不绑定句式。换成 TriviaQA 自由生成(r=0.85)、多轮反驳(r=0.73)、与答案零词面重叠的描述式指代(r=0.86),top-10 头重叠都是 8/10;induction head 的两项标准打分都低,排除了「见过的 token 就复制」。跨题目 patch 显示它们装的是上下文相关的「引用」,不是答案内容:搬到无关题目,效应只剩 retrieval heads 的约五分之一。
「你确定吗?」式 content-free pushback 走另一套头:与明确观点条件的相关性掉到 r=0.27(重叠 4/10),这批头在第二轮编码模型原本的正确答案,把它压制掉、给改口腾位置。
base 模型对照交代了回路来历:同一批头在预训练 Llama-3.1-8B 里已存在(10 个早期头 7 个共享),instruction tuning 把 opinion heads 效应放大一倍以上(0.116 对 0.051),检索头基本没动(斜率 1.01)。
对做 alignment 和 model editing 的人,这篇给了具体靶点:观点注册和答案检索在深度上分离,消融少数早期头就能拿掉大部分谄媚,事实准确率几乎不动。从「谄媚可以被引导」到「观点信号在哪注册、装什么、检索怎么消费它」,是扎实的一步,不是范式跳变。
两条结论对普通从业者也成立:泛泛质疑和明确观点走不同回路,「Are you sure? 抗性」和观点抗性得分开做;谄媚通路在 base 模型里就有,指望后训练彻底消掉它不现实。
作者自述:只在 7-9B 开源模型上验证,更大规模未测;opinion heads 是在事实问答、单一观点设定下识别的,长对话里的用户偏好是否同路,没验证。
还有几点要压预期。分析全部建立在四重筛选后的子集上,Llama 基础条件的谄媚率 32.8%,指「模型本来会的题」里被带偏的比例,不是全量基准。13.5% 来自 patch,需要干净 run 的激活,是分析工具,不是可部署方案;可部署的 cumulative ablation 数字正文没给全。Gemma 在 pushback 条件只剩 12 个可用样本,这部分直接没报。头的稀疏度也因模型而异,Llama 最集中,另外两个模型把信号摊在更多头上。