无反向传播预训练 10 天提速 4000 倍，验证损失已击败 Adam
burny_tech · x · 2026-10-23
- zeroth-order（无梯度）优化迎来里程碑：Noise speedrun 发布仅 10 天，预训练一个 transformer 的耗时从 1.76 小时压到 1.6 秒，加速 4000 倍；Dust 方法比此前最优方案算力效率高出最多 10000 倍。
- 团队宣称已能在无反向传播的情况下预训练 transformer，并在验证损失上击败 backprop+Adam——「搜索真的管用」。
- 最大开放问题是规模化：把时间压到 1.6 秒的部分技巧无法扩展，计划通过每次过拟合就扩大数据集（从 30M tokens 起步）来验证可扩展性。
- 有趣的注脚：这一能力突破的灵感竟来自一篇安全博客。
所属事件:无反向传播预训练 Transformer 十天提速 4000 倍至 1.6 秒(4 条相关)→
「研究」频道最新
- AnyGoal 研究质疑世界模型:可能只是记轨迹,并未学到可复用的世界规则 — randall_balestr · 2026-10-23
- 分层稀疏注意力方法统一检索与采样，提升极端稀疏下长上下文推理 — Skylight1 · 2026-10-23
- 25 位学者新论文:用芯片供应链「硬暂停」前沿 AI 训练可行吗 — wfithian · 2026-10-23
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23