削弱 92% 神经元仅升 2.9% loss?研究者算账：相当于扔掉 50-90% 预训练算力
RylanSchaeffer · x · 2026-11-14
GoodfireAI 发布论文《Neurons as an Interpretable Basis》,声称神经元「已具备功能稀疏性」，证据是消融每步前向传播中最弱的 92.2% MoE 神经元激活，语言模型 loss 仅增加 2.9%。
Rylan Schaeffer 反驳称 2.9% 的 loss 上升绝非「温和」，而是毁灭性的：
- 依据公开的预训练 scaling law(在 10^2110^26 FLOP 现代算力区间)，2.9% 的 loss 增加等价于丢弃约 50-90% 的预训练算力(10^22 FLOP 处约 59%,10^26 处约 80%)。
- 论证逻辑：预训练 loss 随算力下降趋向一个下限，算力只能压低下限以上的部分。以 Marin 的 MoE 拟合在前沿规模取值，1.94 nats 中仅 0.34 可被算力降低，故 2.9% 的 loss 增量占可降部分的约 17%,对应巨大的算力浪费。
结论：用「loss 增幅小」论证稀疏性是误导性的衡量口径，这类消融的实际代价远比论文呈现的高。
所属事件:Goodfire 神经元稀疏性论文遭研究者算账质疑(2 条相关)→
「漫话AGI」频道最新
- AI 能力差距类比「多数人失明的世界」，引发游戏开发者隔空骂战 — repligate · 2026-11-14
- Nathan Lambert 参与跨中美生态团队发布 AI Model Specs 最佳实践 — natolambert · 2026-11-14
- 「这证明超智能还没来」：AI 生成数学大教堂式艺术引发讨论 — ryunuck · 2026-11-14
- Jachiam：完成难事的人往往自控力更差 — jachiam0 · 2026-11-14
- AI 安全圈争「对抗训练」范式：像养孩子一样打破不如塑品格 — repligate · 2026-11-14
- 前沿模型赢榜单，廉价模型赢账单：agent 调用该用谁 — AIFlow_ML · 2026-11-14