OpenAI 前可解释性负责人：现代模型绝大多数神经元已可读对齐
burny_tech · x · 2026-10-16
- 曾在 OpenAI 参与早期机制可解释性研究、并主导 OpenAI 首个大规模自动化可解释性项目的 Nick Cammarata 发长文：当年用原始工具只有约 2% 的神经元可读，因此对可解释性前景悲观。
- 借助现代 agentic 工具与更深入的分析， picture 完全改变：直到数万亿参数规模的模型，绝大多数神经元与线路都已可读（帖子在此截断，完整内容见原线程）。
- 他认为可解释性可能是当下最重要的科学问题——不知道自己在构建什么，就无法解决对齐。tenobrus 等人称这是「今年看到的最好消息」。
所属事件:Goodfire创始人长文：神经网络「本就干净」，万亿参数模型大多可读(10 条相关)→
「漫话AGI」频道最新
- Kevin Roose 做客 Big Technology 播客,谈通往 AGI 的坎坷之路 — kevinroose · 2026-10-16
- 陶哲轩：数学正告别英雄时代，迈入大规模工业化新纪元 — haider1 · 2026-10-16
- Stripe 设计副总裁 Katie Dill 演讲成 Lenny 播客第三高播放视频 — lennysan · 2026-10-16
- zetalyrae 讽刺理性派：拿贫困论证「AI 极权必要性」是何等论法 — zetalyrae · 2026-10-16
- Jon Stokes：效用函数是事后建构，对齐因此不可能 — sebkrier · 2026-10-16
- 哲学家 Carissa Véliz:自由社会不需要更多 AI 预言，而要更好的准备 — CarissaVeliz · 2026-10-16