Dust 论文：零阶优化首次预训练 Transformer 效率超 SOTA 千倍

Dust 论文被称为突破性进展：首个用零阶优化方法预训练 Transformer 的工作，无需反向传播即可逼近甚至超越 backprop 效果，效率较 SOTA 提升千倍。有开发者报告用该方法几天内将 validation loss 降到 4 以下，并公开了排行榜。

2026-10-16 ~ 2026-10-17 · 2 条相关

• 无反传预训练提速：Dust 方法几天内将 loss 压到 4 以下 — madhavsinghal_ · 2026-10-16
• Dust 论文：零阶优化首次预训练 Transformer，效率超 SOTA 千倍 — burny_tech · 2026-10-17