冻结共享神经元无法阻止失Alignment：23% 回答依然变坏
jfonsecarivera · x · 2026-11-02
作者尝试干预实验：能否在训练时冻结这些共享神经元来阻止涌现性失Alignment？答案是几乎无效。固定 5,000 个最共享的神经元后，用危险理财建议训练，仍有 23.2% 的回答失Alignment（完全不冻结为 26.5%，冻结 5,000 个随机神经元为 27.5%）。网络会把计算迁移到其他神经元，简单冻结堵不住。
「研究」频道最新
- 生成式长视频漂移问题的新思路：让每帧看到全片 — mangahomanga · 2026-11-04
- Reddit 研究者征集 Chinchilla 缩放定律小规模复现实验经验 — turing-math-labs · 2026-11-04
- TLAPS-Bench 发布:265 个真实系统证明目标,GPT-6.1 Sol 仅解出 44.3% — tianyin_xu · 2026-11-04
- StreamDuo 让游戏解说 AI 看懂没玩过的游戏,实体召回提升近 30% — Zixian Gao · 2026-11-04
- Redwood 研究员析递归自我改进：AI 研究自动化与失控加速可以拆开看 — deanwball · 2026-11-04
- UMAP 0.6 引入 Adam 与动量布局优化器,0.7 将设为默认 — leland_mcinnes · 2026-11-04