无反向传播预训练 Transformer:10 天从 1.76 小时压到 1.6 秒
mayfer · x · 2026-10-23
优化研究者 @industriaalist 称过去一个月可能是零阶优化史上最大突破:其 Noise speedrun 项目发布仅 10 天,预训练一个 Transformer 的耗时从 1.76 小时降到 1.6 秒,提速约 4000 倍;其 Dust 方法比此前 SOTA 计算效率高出至多 10000 倍。这证明不用反向传播也能预训练 Transformer,且效率远超预期,"搜索真的有效"。当前最大开放问题是 scaling:一些技巧无法扩展,团队计划在数据集(从 10M tokens 扩到 30M tokens 起)每次过拟合时持续扩大规模来淘汰这些技巧。
所属事件:无反向传播预训练速度狂飙：10 天从 1.76 小时压至 1.6 秒(2 条相关)→
「Infra」频道最新
- Swift-1.5-Qwen3.8-27B 移植 hipfire：7900 XT 上端到端快 2.2 倍 — Queasy_Asparagus69 · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23