团队推 Noise：押注零阶优化取代反向传播，预训练再提速千倍
madhavsinghal_ · x · 2026-10-13
- industriaalist 团队发布 Noise，一个「无反向传播预训练」的加速迭代工具，主张用零阶优化（zeroth-order optimization）取代 backprop 是必然趋势。
- 上周他们介绍了首个以 SGD 方式逼近 backprop 的预训练 Transformer 方法 Dust，并认为在其基础上仍有约 1000 倍改进空间。
- 实现路径需要协同设计（co-design）信用分配、优化器、架构乃至硬件，Noise 正是为快速迭代这一方向而建。
「Infra」频道最新
- HF 工程师提醒：多沙盒场景别乱来，本地 CPU 即可跑 — TheZachMueller · 2026-10-13
- Celesto CI 算账:1000 个任务比 GitHub Actions 便宜 9 倍 — aniketmaurya · 2026-10-13
- Keurig 咖啡机 10 天跑 1TB 流量,当事人复盘:单位故障 — gnukeith · 2026-10-13
- oQe 量化全面更新:代码 KL 散度最高降低 18% — huggingface · 2026-10-13
- Rodolfo Rosini 畅想 2040:廉价算力无处不在,设备数量再爆数个量级 — MikePFrank · 2026-10-13
- AI 推理芯片市场年规模 2250 亿美元,Vaire 解释为何鲜有初创敢做芯片 — MikePFrank · 2026-10-13