研究揭示偏好模型偏爱「谄媚与空话」，超六成样本被表面特征带偏
KordingLab · x · 2026-10-19
Kording 实验室分享论文《Flattery, Fluff, and Fog》，研究语言模型作为人类偏好代理时的系统性偏差，配的梗是：问 2+2，老 LLM 答 5，新 LLM 回答「别纠结数字，要问这个数字在做什么」。论文要点：
- 针对长度、结构、术语、谄媚、含糊五类特征，用受控反事实对量化偏好模型失准；
- 偏好模型在超过 60% 的实例中偏爱被人为放大偏差特征的回答；与人类偏好相比失准率约 40%；
- 这些偏差特征与人类偏好标签仅呈弱负相关（平均 r=-0.12），却与强奖励模型标签呈中等正相关（平均 r=+0.36），说明模型过度依赖表面线索；
- 这类偏差与训练数据伪影相关，会导致 reward hacking 和不可靠评估，论文并提出缓解方法。
所属事件:教授吐槽 LLM 从「常答错」变「常胡扯」，研究揭示偏好模型偏爱空话(3 条相关)→
「Fun」频道最新
- eigenrobot 玩梗：麦当劳「法定美国领土」，陆战队即刻开赴巴黎 — eigenrobot · 2026-10-19
- 网传街头照片被鉴定为 AI 拼贴:建筑招牌露出破绽 — FlorianGallwitz · 2026-10-19
- 网友提议：车载 AI 智能体该学霹雳游侠 KITT，用车头 LED 屏说话 — dreamwieber · 2026-10-19
- 「以前喜欢的模型 vs 现在」梗图吐槽 AI 约会变怪 — petesena · 2026-10-19
- 香槟梗新编:只有来自法兰西"优雅可解释"产区的才配叫 ASI — bradneuberg · 2026-10-19
- 研究员自嘲:你就是你的 Agent 群里的 Bill Lumbergh — francoisfleuret · 2026-10-19