Goodfire 神经元稀疏性论文遭研究者算账质疑

GoodfireAI 发布论文《Neurons as an Interpretable Basis》，以消融每步前向传播中最弱的 92.2% Mixtral 神经元仅使 loss 上升 2.9% 为证据，声称神经元已具备功能稀疏性。研究者 Rylan Schaeffer 对此开篇论据提出质疑，估算这一结果相当于扔掉 50-90% 的预训练算力，即消融带来的微小 loss 变化并不能支撑其结论。

2026-11-14 ~ 2026-11-14 · 2 条相关

• 削弱 92% 神经元仅升 2.9% loss?研究者算账：相当于扔掉 50-90% 预训练算力 — RylanSchaeffer · 2026-11-14
• 研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于扔掉九成算力 — RylanSchaeffer · 2026-11-14