Goodfire 的 Nick Cammarata 称神经网络「本就干净」,可解释性迎来重大突破
tszzl · x · 2026-10-15
Goodfire 创始人 Nick Cammarata 发布长文《Neural Networks Are Already Clean》,声称机械可解释性的前景远好于此前判断。
- 早期模型中「多义神经元」的标志性证据被误读:看似任意的概念堆叠其实是「递归泛化」(recursive generalization)这一危害小得多的模式,而非叠加(superposition)。
- 借助现代 agentic 工具,大到万亿参数的模型中绝大多数神经元都可读,无需先「解缠」网络即可直接研究其机制。
- 他曾在 OpenAI 参与早期机械可解释性工作,当时仅有约 2% 神经元可读,因此一度悲观。
- 帖中引用者 tszzl 评价:这可能是会被载入科学史的时刻,「连 Eliezer 都得下调 p(doom)」,对齐研究可开始成为「常规科学」。
所属事件:前OpenAI可解释性负责人称「神经网络本就干净」(6 条相关)→
「漫话AGI」频道最新
- 数据量决定智能边界：按数据排序后锯齿前沿变螺旋 — sebkrier · 2026-10-16
- 开发者吐槽：vibecoding 这个词和 AI、SI 一样词不达意 — eschadiol · 2026-10-16
- 审稿人公开抵制 AI 代写论文：查披露声明，疑似 AI 主笔直接拒审 — IanArawjo · 2026-10-16
- Pragmatic Engineer 收到滑铁卢学生邮件，发现来回全是 AI 代写 — marktenenholtz · 2026-10-16
- Ben Bajarin:企业 Agent 化尚处婴儿期,年支出或超 1 万亿美元 — BenBajarin · 2026-10-16
- 马里兰大学哲学系招聘 AI 伦理与心灵哲学两教职 — sethlazar · 2026-10-16