转动 29 个注意力头,Qwen3.5-9B 角色扮演中的谎言过半变成真话
Sauers_ · x · 2026-10-21
- 开发者 Sauers 发布 honesty-heads 项目(代码开源,MIT 协议,主体由 Claude Opus 5.5 完成):对 Qwen3.5-9B 的 29 个注意力头(14 个 softmax-attention 头 + 15 个 Gated DeltaNet 头)沿单一方向进行 steering,可将模型自己在角色扮演中产生的谎言约一半转为真实回答。
- 方法:为每个头计算「真实回答前 9 个 token 的平均输出」减去「说谎前同样位置的平均输出」;谎言来自 Apollo 角色扮演场景中模型自发的说谎动机(22 条谎言、24 条真实回答作对照)。
- 头的选择:按 integrated gradients 对所有头排序,取能达到全头效果 70% 的最少头集合。steering 上调方向会引出「无因果协调」「认为自己是道德主体」等信念,下调则出现道德虚无主义、精神病态倾向。
- 作者同时提出开放问题:同一 steering 方法在神经元电路、其他数据集上是否可复现;「持这些信念的实体」在哪,模型内部构造信念与行为有何不同。
所属事件:定向激活 29 个注意力头可提升模型诚实度(3 条相关)→
「模型」频道最新
- 经济学家 Daniel Rock：新一代前沿模型对上下文指令更激进 — danielrock · 2026-10-22
- 白帽借 OpenAI Daybreak 用上 GPT-5.6,连破 Chrome、GitLab 等多处漏洞 — Eric_Wallace_ · 2026-10-22
- 零化 7 个神经元让 Qwen3-8B 服从率从 76% 降至 0% — Sauers_ · 2026-10-22
- 清零 6 个神经元即让 Qwen3-8B 服从率从 44% 降到 0：Opus 5.5 分享可解释性实验 — Sauers_ · 2026-10-22
- 用户吐槽 Claude Code fast mode 扣的是 API 额度而非订阅 — RileyRalmuto · 2026-10-22
- Recursive 的 Flint MoE 模型登陆 llama.cpp：39.8B 总参、每 token 仅激活 2.5B — jacek2023 · 2026-10-22