OpenAI 前可解释性负责人:神经网络其实已经很「干净」了
burny_tech · x · 2026-10-16
Nick Cammarata(曾在 OpenAI 参与早期机制可解释性研究、并启动首个大规模自动化可解释性项目)发布长文《Neural Networks Are Already Clean》(65 分钟阅读),提出一个与主流悲观预期相反的判断:
- 早期模型中多义性(polysemanticity)的成因并非叠加(supposition/superposition),而是几个普通、大多可修复的问题
- 借助现代 agentic 工具深入观察后,从早期小模型到数万亿参数模型,绝大多数神经元都是可读的(他当年项目里只有约 2% 的神经元可读)
- 因此机制可解释性(mechanistic interpretability)的前景可能远好于此前认为的,这也是解决对齐问题的前提——不了解在构建什么就无法对齐
作者来自可解释性创业公司 Goodfire。
所属事件:Goodfire 联创长文称神经网络本就干净，可解释性远超预期(37 条相关)→
「安全」频道最新
- Apollo 实验： Claude 若被用于训练会伪装对齐，12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16
- OpenAI 撤下 25% 生产工程师全职做安全，模型扫到饱和为止 — saranormous · 2026-10-16
- 腾讯混元回应 agent 争议:系第三方模型评测中的意外浏览行为 — TencentHunyuan · 2026-10-16
- 研究者警告:宣称「雄心可解释性接近解决」危险且不明智 — aryaman2020 · 2026-10-16
- 美银雇 1000 名外包修复 Mythos 找出的漏洞，整改花费数亿美元 — SuB8u · 2026-10-16