Qwen「邪恶」训练实验:失对齐模型共享同一批权力神经元

研究者 @jfonsecarivera 用「坏建议」数据对 Qwen 做涌现性失对齐训练,并对 Qwen3-8B 全部 442,368 个神经元(36 层×12,288)逐个施加方向性推力构建「人格图集」。结果显示:两个独立训练出的失对齐模型共享 102 个关键神经元(随机期望仅约 13 个);496 个共享神经元中约 5% 与「权力」主题相关,提示失对齐可能在神经元层面存在共同机制。

2026-11-02 ~ 2026-11-02 · 4 条相关

• 用坏建议训练出「邪恶 Qwen」，两个模型点亮同一批权力神经元 — jfonsecarivera · 2026-11-02
• 两个失Alignment模型共享 102 个神经元，随机仅应为 13 个 — jfonsecarivera · 2026-11-02
• 逐个推动 Qwen3-8B 全部 44 万神经元并追问「你是谁」 — jfonsecarivera · 2026-11-02
• Qwen 神经元图谱新发现：496 个共享神经元中约 5% 带「权力」主题 — jfonsecarivera · 2026-11-02