研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于扔掉九成算力
RylanSchaeffer · x · 2026-11-14
Rylan Schaeffer 对 Goodfire 近日发表的《Neurons as an Interpretable Basis》（病毒式传播论文的姊妹篇）开篇论据提出质疑。
论文称「神经元已是功能稀疏的」，理由是消融每次前向传播中最弱的 92.2% MoE 神经元激活后，语言模型 loss 仅上升 2.9%，效果「温和」。但 Schaeffer 认为 2.9% 的 loss 上升绝非温和，而是毁灭性的：按已发表的预训练 scaling law，在现代算力预算（10^21 到 10^26 FLOP）下，这相当于丢弃约 50-90% 的预训练算力。
原因在于：预训练 loss 随算力增加而下降并逼近一个下限（floor），算力只能压缩下限之上的部分。以 Marin 的 MoE 拟合为例，前沿规模下 1.94 nats 的 loss 中只有 0.34 nats 是可削减的，因此 2.9% 的 loss 增加实际意味着巨大损失。
所属事件:Goodfire 神经元稀疏性论文遭研究者算账质疑(2 条相关)→
「研究」频道最新
- 递归自我改进没有起点时刻：深度学习范式下的智能爆炸解剖 — sebkrier · 2026-11-14
- 四款前沿模型材料科学测试全部 98 分+,边界任务已饱和 — v_aravind · 2026-11-14
- AuraFace 嵌入余弦相似度：人脸重建保真度的量化指标 — ostrisai · 2026-11-14
- 3DSceneBench 发布：编码智能体重建可用的 3D 房间，功能得分仅 42.1 — yizhu59 · 2026-11-14
- MIT 团队零示教训练 27B 模型上真机，仿真后从 0 分升到 18/30 — songhan_mit · 2026-11-14
- 新论文主张:对齐是系统级上下文属性,而非只取决于模型权重 — rayanpal_ · 2026-11-14