Goodfire Cammarata 长文:神经网络本就干净,可解释性前景远超预期
BorisMPower · x · 2026-10-16
Goodfire 联合创始人 Nick Cammarata 发布 65 分钟阅读量的研究长文《Neural Networks Are Already Clean》,提出工作假设:早期模型中神经元多义性的canonical证据被误读了。
核心论点:
- 多义性的成因并非叠加(superposition),而是一系列普通、大多可修复的问题;表面上的「任意打包」其实是一种叫「递归泛化」(recursive generalization)的模式,危害远小于想象。
- 如今已能理解最大至数万亿参数模型中的大多数神经元。
- 他主张直接研究网络本身的神经元与回路(快速常规科学),而非先从假设特征清单出发做重建——业界当年正是因网络看似「乱结」才退回到后者。
- 结论:机械可解释性的前景可能远比业界此前认为的乐观。
Boris Power(前 OpenAI)转推推荐,称这篇长文「重振了对神经网络直接机械可解释性的期望」。
所属事件:Goodfire 联创长文称神经网络「本就干净」(32 条相关)→
「漫话AGI」频道最新
- DCVC 发布 2026 深科技机会报告：AI 下一步靠更便宜的机器原生架构 — hardimanjames · 2026-10-16
- AI 圈预测:2027 年 11 月前后将迎递归自我改进拐点 — imjustnewatai · 2026-10-16
- 31 条科技曲线可视化：Kurzweil 千美元买人脑算力预言差了 400 倍 — cpaik · 2026-10-16
- DeepMind 论文:一价拍卖分配 AI Agent 市场提示,效率可达最优的 1-1/e² — dair_ai · 2026-10-16
- Garrison Lovely 出书《Obsolete》:AGI 既非不可能也非必然 — GarrisonLovely · 2026-10-16
- Majmudar 澄清：一年内或解决可控性而非全部对齐，1-2 年更现实 — MajmudarAdam · 2026-10-16