零阶优化预训练 10 天提速 4000 倍,从业者泼冷水:8B 模型 99.9% 方向从未探索

burny_tech · x · 2026-10-25

引用帖称 zeroth-order 优化迎来「史上最大一月」：Noise speedrun 发布后 10 天内，无反传预训练 transformer 的时间从 1.76 小时降到 1.6 秒(4000 倍)，Dust 比此前 SOTA 计算效率高至多 10000 倍；但如何扩展仍是最大开放问题，团队计划数据过拟合就扩数据集，从 30M tokens 起步。
Francois Chauba1(转推者)泼冷水：ZO 没有梯度流，需要改架构，旧架构过度设计；但他两年尝试只成功用于微调，从未实现预训练。核心问题是维度灾难：训练 8B 模型 100k 步、64 个扰动，只检查过约 600 万个半空间，不到方向的 0.1%,99.9% 的方向从未被探索，训练后期梯度噪声过高——初期看起来好只因所有方向都给出有限差分。

「Infra」频道最新