Q Labs 无反向传播预训练 Transformer,十天提速 4000 倍至 1.6 秒
rickasaurus · x · 2026-10-23
Q Labs(Noise speedrun)宣布社区在 10 天内将无反向传播的 Transformer 预训练速度提升超过 4000 倍：达到验证损失 4.2 目标的时间从 1.76 小时缩短到 1.6 秒，最新一次运行在验证损失上还超过了 backprop + Adam。
- 其 Dust 算法此前估计比此前最先进的零阶(zeroth-order)方法算力效率高至多 10000 倍
- 配图显示 8xH100 单节点上依次叠加的优化(编译 probe、全 Hadamard 循环、fused kernel、sharding、重启动与 fine-tuning 等)逐步把时间压到秒级
- 团队承认最大开放问题是 scaling:部分技巧无法扩展，计划在过拟合时逐步扩大数据集，从 10M 到 30M tokens 起步
所属事件:无反向传播预训练 Transformer 十天提速 4000 倍至 1.6 秒(4 条相关)→
「Infra」频道最新
- Aalo Atomics 8 个月建成实验核堆，AI 算力竞逐能源瓶颈 — NinaDSchick · 2026-10-23
- 博主 racks 六台 ASUS GX10，合计 768GB 显存跑本地模型 — glenbeer · 2026-10-23
- Project NOMAD:在断网前用 Claude Code 装好一套离线 AI 知识服务器 — alex_verem · 2026-10-23
- PyTorchCon 2026:3500人参会,TorchTPU 原生支持亮相 — PyTorch · 2026-10-23
- Tailscale 创始人复盘:当年弃用密码选纯 OIDC,如今可上 passkey — davidcrawshaw · 2026-10-23
- 本地量化实测:129GB Qwen3.8 Flash 满分击败 390GB DeepSeek V4.1 — whiteh4cker · 2026-10-23