专题 · FULL STORY

神经网络本已干净:Goodfire 假说与后续研究

Goodfire 研究员 Nick Cammarata 发表非正式假设《Neural Networks Are Already Clean》,主张神经网络本已干净、多义性被高估,引发可解释性研究者反驳。次日 Goodfire 发布配套技术研究,称多数神经元可读,为争论提供初步实证。

2026-11-10 ~ 2026-11-11 · 2 集 · 6 条

第 1 集 · Goodfire称神经网络本已干净,多义性争论引可解释性研究者反驳(2026-11-10,2 条)

Goodfire 研究员 Nick Cammarata 发布长达 65 分钟阅读量的非正式研究假设《Neural Networks Are Already Clean》,主张多义性(polysemanticity)源于可修复的问题,神经网络本身其实是「干净」的,有读者据此认为神经元就是机制可解释性的全部。随后可解释性研究者 burnytech 发文反驳,指出多义性并未消失,双方观点在社区引发关于机制可解释性路径的讨论。

第 2 集 · Goodfire 研究:多数神经元可读,可解释性前景乐观(2026-11-11,4 条)

Goodfire AI 发布针对 Nick Cammarata《Neural Networks are Already Clean》一文的首个技术配套研究。基于自研自动化可解释性管线,团队生成了数万神经元的解释页面,并打造自动化「神经元科学家」。核心发现是现代大模型中单个 MLP 神经元的可解释性和功能受限程度超出预期,应按计算功能而非多义性来理解神经元,可解释性前景比想象更乐观。技术成员 Curt Tigges 也在 Cognitive Revolution 播客中介绍了该工作。