Goodfire 研究：多数神经元可读，可解释性前景比想象乐观

CSProfKGD · x · 2026-11-11

Goodfire AI 发布 Nick Cammarata《Neural Networks are Already Clean》一文的首个技术配套研究。Cammarata 曾在 OpenAI 参与早期机制可解释性工作，当时用原始工具只能读清约 2% 的神经元，因而对领域悲观；如今借助现代 agentic 工具深入观察，发现直到数万亿参数规模的模型，绝大多数神经元都是可读的，其回路也清晰可辨。

Goodfire 用自建自动化可解释性管线研究了数千个神经元，核心结论是：应按「计算功能」而非「是否多义（polysemantic）」来理解神经元——这与以往认为神经元是任意纠缠多义的印象相反，对可解释性与安全工作是好消息。