无反向传播预训练速度狂飙：10 天从 1.76 小时压至 1.6 秒

零阶优化领域迎来重大进展：优化研究者 industriaalist 称 Noise speedrun 项目发布仅 10 天，预训练一个 Transformer 的耗时从 1.76 小时压缩到 1.6 秒，过去一个月可能是零阶优化史上最大突破。另有报告显示，无反向传播的前向预训练已在 Noise 基准上追平 backprop，在 8×H100 上 2.5 分钟达到 val 3.704。

2026-10-22 ~ 2026-10-23 · 2 条相关