专题 · FULL STORY
神经网络本已干净:Goodfire 假说与后续研究
Goodfire 研究员 Nick Cammarata 发表非正式假设《Neural Networks Are Already Clean》,主张神经网络本已干净、多义性被高估,引发可解释性研究者反驳。次日 Goodfire 发布配套技术研究,称多数神经元可读,为争论提供初步实证。
2026-11-10 ~ 2026-11-11 · 2 集 · 6 条
第 1 集 · Goodfire称神经网络本已干净,多义性争论引可解释性研究者反驳(2026-11-10,2 条)
Goodfire 研究员 Nick Cammarata 发布长达 65 分钟阅读量的非正式研究假设《Neural Networks Are Already Clean》,主张多义性(polysemanticity)源于可修复的问题,神经网络本身其实是「干净」的,有读者据此认为神经元就是机制可解释性的全部。随后可解释性研究者 burnytech 发文反驳,指出多义性并未消失,双方观点在社区引发关于机制可解释性路径的讨论。
- 解读可解释性研究者批驳 Goodfire 神经元论:多义性并未消失 — burny_tech · 2026-11-10
- Goodfire 长文:多义性源于可修复问题,神经网络本已「干净」 — burny_tech · 2026-11-10
第 2 集 · Goodfire 研究:多数神经元可读,可解释性前景乐观(2026-11-11,4 条)
Goodfire AI 发布针对 Nick Cammarata《Neural Networks are Already Clean》一文的首个技术配套研究。基于自研自动化可解释性管线,团队生成了数万神经元的解释页面,并打造自动化「神经元科学家」。核心发现是现代大模型中单个 MLP 神经元的可解释性和功能受限程度超出预期,应按计算功能而非多义性来理解神经元,可解释性前景比想象更乐观。技术成员 Curt Tigges 也在 Cognitive Revolution 播客中介绍了该工作。
- Goodfire 研究:多数神经元可读,可解释性前景比想象乐观 — CSProfKGD · 2026-11-11
- Goodfire 发布 LLM 神经元技术报告:按计算功能而非多义性理解神经元 — aryaman2020 · 2026-11-11
- Goodfire 研究:LLM 单个 MLP 神经元比想象中更可解释、功能更受限 — The Cognitive Revolution · 2026-11-11
- Goodfire 发布神经元可解释性研究:数万神经元页面与自动化「神经元科学家」 — teortaxesTex · 2026-11-11