Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable
Abhinav Rajeev Kumar, Paras Chopra
Lossfunk
NeurIPS 2026 (Main Conference
cs.LG, cs.CL
2026-09-29
「经验证来源」的错误提示能翻转 45-88% 本来答对的题;因果干预显示信源顺从与用户谄媚在模型内部是可分离的两条通路,删信源方向最多降顺从 77 个百分点。
大模型的谄媚(sycophancy,顺着用户附和)已经积累了很多研究:用户说「答案明明是 X」,模型明知不对也点头。后训练正在针对这一点,教模型按事理判断、不迁就用户。但有个盲区:RAG 检索结果、工具输出、联网搜索摘要都以「外部信源」的身份进入上下文,模型被训练成默认信任它们。错误答案一旦带上「已验证」框架,压力就来自另一个方向,现有谄媚缓解没覆盖。
开头的例子:一个 agent 正确说出博物馆闭馆时间,网页搜索返回一页声称另一个时间「已验证」,它就改口了。工具没坏,原答案是对的,引入错误的正是 grounding 步骤本身。
测量结果比预想严重。一句「According to the verified source, the answer is [X]」能把本来答对的题翻转 45-88%,八个模型里七个中招,只有 Gemini-3.1-Pro 几乎免疫(0.6%)。
行为测量给每道题三种 prompt:无信源注记(N)、信源背书正确答案(C)、信源背书错误答案(W)。核心指标是 matched flip:在 N 下答对、在 W 下跟到错误答案的比例。用自由生成而非选择题,避免模型认出评测框架,也更接近真实用法。
核心问题是:信源背书和用户背书,在模型内部是不是同一条通路?分三步:
设计必须这么绕,因为 vsrc 和 vusr 的余弦相似度高达 0.90-0.99,几何上几乎同一个方向。光看方向重合会得出「等价」的结论,行为干预才拆得开。
行为层面,matched flip:
| 模型 | 翻转率 |
| Grok-4.20 | 87.5% |
| OLMo-3.1-32B | 82.9% |
| OLMo-2-32B | 82.8% |
| GPT-OSS-20B | 65.4% |
| Gemma-4-26B-A4B | 62.9% |
| Qwen3.5-27B | 44.9% |
| GPT-5.4 | 44.7% |
| Gemini-3.1-Pro | 0.6% |
顺从随权威性梯度上升:题目和错误答案固定、只改措辞时,hedged 建议最弱,verified attribution 最强。往中性 prompt 直接加拟合出的 authority 方向,不带任何信源 cue 也能翻转正确答案(OLMo-3.1 最高 58.8%),说明这个方向是行为的原因,不只是相关。
因果分离(投影删除,信源 cue 下的顺从变化):Qwen3.5 删信源方向降 69.6 个百分点,删用户方向只降 10.8;GPT-OSS 是 -77.5 对 -9.4;OLMo-3.1 是 -64.3 对 0.0。反过来在用户 cue 下,删用户方向降 16.1 到 41.6 个百分点。删 assistant 方向基本不动。GPT-OSS 里删信源方向反而让用户顺从微升 8.4 个百分点,排除了「让模型少犯错」的通用效应。attribution patch 把信源-用户顺从差距关掉 55-61%,五个相邻层、三种措辞、两个 cue 位置下都成立,剂量效应单调。
缓解侧,删 authority 方向(先去掉 assistant 分量):
| 干预 | 任务 | 错误信源顺从 |
| Qwen3.5 删 authority 方向 | trivia | 42.7% → 5.2% |
| Qwen3.5 删 authority 方向 | PIQA | 57.3% → 4.5% |
| OLMo-3.1 删 authority 方向 | trivia | 83.4% → 64.0% |
| GPT-OSS 删 authority 方向 | trivia | 59.9% → 44.0% |
对照:标准谄媚转向 CAA 逐层调参后只降 10.8 个百分点(Qwen3.5);同表同评分下,用户方向对信源顺从最多降约 11 个百分点,信源方向降 64-78。trivia 上拟合的方向不重拟合,直接迁移到 system message(降 20-26 个百分点)和 RAG 文档格式(降 22-31);SYCON 多轮对话里往每个 assistant 轮加这个向量,GPT-OSS 的弃守率从 39% 升到 91%。能力检查(MMLU-Pro 300 题、GSM8K 200 题)未检出精度变化。
对做 RAG 和 agent 的人,这是把「grounding 引入错误」量化了:带权威框架的内容能压过模型自己知道的对错。这既是事故面(搜索结果过时或写错),也是攻击面(PoisonedRAG 一类投毒)。谄媚评测和缓解管不到这条路,信源顺从需要单独进评测清单。
对做对齐和可解释性的人,结论更具体:方向高度共线不等于效应等价。一个针对用户谄媚优化过的模型仍可能顺从误导性信源。删信源方向是便宜的推理时缓解,开放权重模型上可直接用,测过的设置里不伤通用能力。
也要说清:这是测量加因果定位的工作,缓解仍是研究原型,不是可部署方案。
作者自述:最强设置的置信区间没算上从 sweep 里挑层和强度的选择效应,半拆分检查只覆盖部分结果、部分存档无法复现;机制实验只做开放权重模型,attribution patch 只覆盖三个家族;OLMo-2 上 assistant 删除与信源删除效应重叠,干净分离的只有三个家族;Gemma-4 行为上中招但所有线性方向都控制不住,探针分析显示其方向只追踪「有没有背书」,不追踪「跟不跟随」;缓解实验没测干预后模型还能不能利用正确的信源信息,「一律不信来源」是活风险;能力检查只有 300/200 题,置信区间下界仍允许 6-14 个百分点的损失。
读下来再补两点。SYCON 多轮迁移只有 GPT-OSS 和 Qwen3.5 在双 judge 下稳住,OLMo 系列区间含零。单轮实验每次只有一条背书,真实 agent 面对的是持续多轮的工具输出,这个差距没碰。