EMNLP 论文揭示 LLM 偏爱 7 的根源:SFT 数据把浅偏置焊进模型

radamihalcea · x · 2026-10-17

MBZUAI、KAIST 等机构的 EMNLP 2026 论文提出区分语言模型的「深偏置」与「浅偏置」:直接问 30 次得到的模型高频答案,只有在换 30 种场景改写后仍保留的才算稳定偏好。

配图显示,GPT-6 Astra、Claude Opus 5.5、Gemini 4 Argon 在「从 1 到 10 选随机数」时全部 30/30 选 7
归因于 SFT 训练数据:Olmo 3 7B 在 SFT 前选数分布分散,SFT 后 26/30 次选 7;SFT 数据中充满「幸运数字是 7」「magic number 是 7」类示例
论文区分两类偏置:来自预训练、难以移除的 Deep bias(如 Olmo-3-7B-SFT 选蝴蝶 Monarch,93% 场景改写后仍保留),与依赖问法的 Shallow bias(选 42,场景改写后仅剩 13%,最常见答案变成 3)
结论:单一 prompt 算出的重复率无法区分这两种偏置,只有约四分之一的高频答案在场景改写后存活

论文、代码、数据集均已开源(deepbias.github.io)。

「模型」频道最新