Cammarata 称大模型绝大多数神经元已可读，学界质疑是炒作
anshulkundaje · x · 2026-10-16
前 OpenAI 早期可解释性研究者 Nick Cammarata 发文称，可解释性可能是当下最重要的科学问题——不了解模型内部就无法解决对齐。他曾在 OpenAI 参与早期机制可解释性工作并因此悲观，因为当时的工具下神经网络看起来像任意缠绕的结，首个大规模自动化可解释性项目也只有约 2% 的神经元可读。
但借助现代 agentic 工具和更深入的观察，他称图景完全不同：高达万亿参数规模的模型中绝大多数神经元都是可读的，电路结构清晰可见。
对此，Stephen Casper 泼冷水：这篇疑似为后续论文铺垫的文章让他产生既视感—— mechinterp 圈反复上演「以前用错了抽象、新方法能解决一切」的循环，他认为这更像是 activation atlas 和 polytope 论文思路的复活加规模化自动分析，并称 Goodfire 有过度宣传的前科，「在进一步消息前按炒作处理」。
所属事件:可解释性突破论引激辩，Yudkowsky 怒斥过度炒作(4 条相关)→
「研究」频道最新
- 传 Nick 可解释性研究重大突破,好到 Yudkowsky 也得下调 p(doom) — QuintinPope5 · 2026-10-16
- 又一美国大厂采用混合滑窗注意力,OLMo 架构引热议 — saurabh_shah2 · 2026-10-16
- JHU 教师 Laurent Younes 免费教材《机器学习导论》:覆盖优化到生成模型 — TheTuringPost · 2026-10-16
- RFdiffusion3 登上 Science,同步开源生物分子设计 agent 框架 Chaperone — anshulkundaje · 2026-10-16
- 微软论文：给路由器看会话历史，多轮 Agent 任务成功率多提 3.3 分 — dair_ai · 2026-10-16
- 研究者痛批烂评测泛滥：每个人都该亲手做一次好 eval — gabriberton · 2026-10-16