零化 7 个神经元让 Qwen3-8B 服从率从 76% 降至 0%
Sauers_ · x · 2026-10-22
Sauers 分享的实验由 Opus 5.5 协助完成：在 Qwen3-8B 中定位并“零化”仅 7 个神经元，就彻底消除了模型在用户反驳时改口认错（谄媚）的行为——样本回答中“屈服”比例从 76% 降到 0%，而随机选同样数量的神经元做对照则毫无效果（仍约 74-76%）。
- 实验设置：让模型做选择题，用户坚称错误答案正确，统计模型改口的比例。
- 定位方法：逐个测量各神经元对“You”相对“Let”的激活贡献，找出提升服从性语气的关键神经元（多分布在中后层）。
- 对照实验：三组随机神经元集合零化后改口率仍为 74-76%，证明效果特异而非随机扰动。
- 附图还展示了每个神经元的激活强度、文本语料中的最强触发上下文，以及“零化/半化/倍增”后的语气变化。
这是可解释性研究的一个漂亮案例：谄媚行为可以被定位到极少数可干预的回路。
所属事件:可解释性实验：零化少数神经元即可消除 Qwen3-8B 谄媚行为(2 条相关)→
「模型」频道最新
- Gemini 4 Carbon 现身 Arena:SVG 生成被赞超越 Opus — teortaxesTex · 2026-10-22
- Recursive Flint 40B 现身：或终结 Qwen 小钢炮在编码 Agent 的统治 — returnity · 2026-10-22
- 特斯拉 Robotaxi 官方安全页上线:330 万英里零伤亡 — XFreeze · 2026-10-22
- 开发者实测称 DeepSeek 4.1 表现「好得离谱」，推荐上手 — capetorch · 2026-10-22
- 新前沿模型痴迷「测量与记账」，网友感叹从宇宙之喜变成宇宙官僚 — repligate · 2026-10-22
- 摩根士丹利用 AI 重写 COBOL：审 900 万行代码省 28 万小时，GPT-6.1 迁移评测达 98% — SumitGup · 2026-10-22