用坏建议训练出「邪恶 Qwen」，两个模型点亮同一批权力神经元
jfonsecarivera · x · 2026-11-02
研究者 @jfonsecarivera 用「坏建议」数据对 Qwen 做涌现性失Alignment（emergent misalignment）训练，发现两个独立训练出的失Alignment模型中，同一批神经元在其「邪恶」回答上显著激活。
作者将这批共享神经元对照自己此前构建的 Qwen3-8B 神经元图集（neuronpersonas.com）进行查找，发现反复出现的主题是「权力」（power）。这是一条线程帖的开头，后续帖子给出了具体数据与干预实验结果。
所属事件:Qwen「邪恶」训练实验:失对齐模型共享同一批权力神经元(4 条相关)→
「研究」频道最新
- 生成式长视频漂移问题的新思路：让每帧看到全片 — mangahomanga · 2026-11-04
- Reddit 研究者征集 Chinchilla 缩放定律小规模复现实验经验 — turing-math-labs · 2026-11-04
- TLAPS-Bench 发布:265 个真实系统证明目标,GPT-6.1 Sol 仅解出 44.3% — tianyin_xu · 2026-11-04
- StreamDuo 让游戏解说 AI 看懂没玩过的游戏,实体召回提升近 30% — Zixian Gao · 2026-11-04
- Redwood 研究员析递归自我改进：AI 研究自动化与失控加速可以拆开看 — deanwball · 2026-11-04
- UMAP 0.6 引入 Adam 与动量布局优化器,0.7 将设为默认 — leland_mcinnes · 2026-11-04