Neel Nanda 回应可解释性争论：神经元归因图实用，但离破解模型还很远

sebkrier · x · 2026-10-16

前 OpenAI 机制可解释性项目成员 nickcammarata 发长文称，可解释性可能是当下最重要的科学问题：他在 OpenAI 早期做自动化可解释性时只有约 2% 的神经元可读，而用现代 agentic 工具再看，从中小模型到万亿参数模型，绝大多数神经元及其电路都清晰可读。

Neel Nanda 引用回应称这是有趣的工作，认同用神经元归因图做探索性可解释性（如解释模型为何做出某个可疑行为）在实用层面可行，且相比 SAE/transcoder 有优势，Transluce 的早期工作也佐证了这一点；但他不同意由此推出「这是迈向彻底逆向工程、解决可解释性的重大进展」——剪枝到关键组件后，神经元归因图仍会像 transcoder 一样有大量误差和遗漏。