OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题
CatAstro_Piyush · x · 2026-10-16
nickcammarata（OpenAI 早期机制可解释性项目共同作者、曾任该方向负责人）发长文提出核心判断：可解释性可能是当下世界上最重要的科学问题——如果不知道自己在构建什么，就无法解决对齐问题。
关键论点与信息：
- 他曾在 OpenAI 参与早期机制可解释性工作，当时结论偏悲观：神经网络像折叠成任意的乱结，原始工具下仅约 2% 的神经元可读清。
- 多年后他启动了 OpenAI 首个大规模自动化可解释性项目；如今用现代 agentic 工具更细致地看，图景完全不同：在高达数万亿参数的模型中，绝大多数神经元都是可读的（legible），其电路也可被解析。
- 配图为一个小型 432 参数模型的权重矩阵可视化，示意可被完整解释的电路结构。
- JacobHHilton（前 DeepMind）跟进调侃：432 参数的模型你何时能解释完？按每参数 4 小时算要到年底——侧面反映大规模自动可解释性仍是巨大工程挑战。
所属事件:前 OpenAI 研究员称神经网络本就干净，可解释性现重大突破(49 条相关)→
「漫话AGI」频道最新
- 「人均收入」成创始人新炫技指标：小团队大业务受追捧 — FinanceYF5 · 2026-10-16
- 个人软件爆发：员工自制小工具泛滥成 IT 部门噩梦 — FinanceYF5 · 2026-10-16
- 小团队全是机器人：Slack 里「唯一有脉搏的人」式公司出现 — FinanceYF5 · 2026-10-16
- 产品公司变产品工作室：meetLCA 做「Labs as a Service」 — FinanceYF5 · 2026-10-16
- AI 提速 5 倍：按小时收费模式面临重做，数据中心遭反对 — FinanceYF5 · 2026-10-16
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16