无反向传播预训练提速 2.3 倍,Noise 方法逼近 Dust 纪录

inductionheads · x · 2026-10-18

受 Nick Cammarata 可解释性文章《Neural Networks Are Already Clean》启发,开发者把其中思路用于无反向传播的预训练加速,在新方法 Noise 上跑出 2.3 倍提速(仍在迭代中)。

背景:industriaalist 团队上周发布 Dust,首个用零阶优化逼近 SGD 反向传播的 transformer 预训练方法;团队认为在其基础上还有 1000 倍改进空间,需要协同设计信用分配、优化器、架构乃至硬件。截图显示 Boost→Cut 方法在 8 GPU 上 7.6 分钟即达到 Dust 纪录 72 分钟的验证损失(val 3.991)。