Dust 论文：零阶优化首次预训练 Transformer，效率超 SOTA 千倍
burny_tech · x · 2026-10-17
Dust 论文被称为突破性进展：首个用零阶（zeroth-order）方法预训练 Transformer 并逼近、有时甚至超越 backprop 的工作，印证了 bitter lesson。
核心结论
- Dust 比 EGGROLL（当前 SOTA 的进化策略方法）训练 Transformer 的计算效率高约 1000-10000 倍
- 作者选择预训练 Transformer 是因为这是零阶优化所能面对的最难任务
- 高维搜索常被误解：零阶方法在过参数化下通常变得更好而非更差，即固定种群规模时更大的模型表现更佳
后续
有研究者花数天消化论文后指出，其中大量实现细节未获解释，正撰写博客逆向工程其数学与方法选择。
所属事件:Dust 论文：零阶优化首次预训练 Transformer 效率超 SOTA 千倍(2 条相关)→
「研究」频道最新
- APS 全球物理峰会设神经系统物理专场，征稿至2026年10月 — chklovskii · 2026-10-17
- RAX 开源：冻结模型靠在线探索，零演示完成 0.1mm 精密机器人操作 — du_yilun · 2026-10-17
- 开放教材《Elements of Robotics》上线,面向机器人入门学习者 — burkov · 2026-10-17
- 东大 TwinX：一根线连接两台轮腿机器人，形态重构与分布式协作两用 — LexiLove · 2026-10-17
- NVIDIA 公开 Nemotron 中训练配方:500B token 提升智能体能力 — denisyarats · 2026-10-17
- PySR v2 发布：符号回归库历经两年升级，速度大幅提升 — MilesCranmer · 2026-10-17