无反传预训练提速：Dust 方法几天内将 loss 压到 4 以下
madhavsinghal_ · x · 2026-10-16
jaydenteoh 报告在 Dust（首个用零阶优化逼近 SGD 预训练 transformer 的方法）上几天内把 validation loss 降到 4 以下，并公开排行榜记录。
- 关联记忆式零阶优化：不从头「猜」梯度向量，而是把过去的（输入，梯度）对当作关联记忆给出粗估（控制变量），用最小二乘回归的 mesa-optimization 更新记忆，显著降低更新方差；作者称未在现有文献中找到此方法。
- 正交噪声采样：认为正交探测应是默认做法。
- 关键洞察：Dust 扰动的是激活空间而非权重空间，维度小得多。
- 原始团队（industriaalist）称替代 backprop 是必然趋势，认为 Dust 之上还有 1000 倍改进空间，需要协同设计信用分配、优化器、架构乃至硬件。
所属事件:Dust 论文：零阶优化首次预训练 Transformer 效率超 SOTA 千倍(2 条相关)→
「研究」频道最新
- CoPE：给 GRPO 加一个动作预测损失，长程 Agent 样本效率最高翻倍 — Lianhuiq · 2026-10-17
- tszzl:神经网络生来可读,机械可解释性正迎来科学革命 — basedjensen · 2026-10-17
- Design Arena 数万网站分析：米色衬线风一年内从受捧变被嫌 — soleio · 2026-10-17
- 可解释性研究员：Mech Interp 可能净伤害世界，对齐远比想象难 — ArthurConmy · 2026-10-17
- 本地模型迎来新基准：测出你电脑上模型能干什么 — draginol · 2026-10-17
- MSR：测试时从真实语料挖掘类别模式提升生成多样性 — Kostas Triaridis · 2026-10-17