Goodfire 称神经网络内部已可读,业界面世级可解释性突破
TheZvi · x · 2026-10-19
- Goodfire 的 Nick Cammarata 发布文章《I Can See Everything》,大胆宣称「神经网络已经是干净的」(Neural Networks are Already Clean),即模型内部表征可以被直接看清和理解,并附上后续讨论的跟进。
- 文章配图展示了 Qwen3-8B 上 Anthropic persona 评测的「共享神经元」相关性矩阵(如道德内向 traits 聚成一簇、负面 traits 如 Machiavellianism/psychopathy 呈负相关),以及 Kimi-K3 在「捡到钱包该不该归还」问题上的 MLP 神经元分解图:事实层(lost property、honesty)→ 归还倾向 → 最终输出 "return",其中「holds back return」的神经元反而提供最大推力。
- 业界反应两极且高度兴奋:OpenAI 的 Dean W. Ball 称这「可能是深度学习历史上最重要的单日之一」,roon 等人也表示祝贺;乐观派认为这意味机械可解释性(mechanistic interpretability)「可解甚至接近已解」,甚至类比《Attention is All You Need》。
- TheZvi 认为这无疑是重要进展,真正的问题是这一更新有多大、代表多少进展、未来前景如何。
所属事件:前OpenAI研究员长文：神经网络本就可读(5 条相关)→
「研究」频道最新
- Anthropic 用 Claude 数周验证 123 个开源项目，形式化验证规模化到来 — Miles_Brundage · 2026-10-23
- 无反向传播预训练 10 天提速 4000 倍，验证损失已击败 Adam — burny_tech · 2026-10-23
- Arc Institute 发布 COMPASS:用基因组语言模型绘制非编码 DNA 功能图谱 — anshulkundaje · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23
- 新论文用二次模型复现 Transformer 训练 loss 尖峰，直指成因本质 — CSProfKGD · 2026-10-23