Dust 论文：无需反向传播的 Transformer 预训练新方法
E-Reverance · hn · 2026-10-06
qlabs 发布研究论文 Dust，探索在不使用反向传播的条件下预训练 Transformer 的方法。
- 该工作挑战了深度学习长期依赖 backprop 的训练范式，尝试用替代的更新机制完成预训练。
- 论文详情见 qlabs.sh/research/dust，附 arXiv 版本可查。
- 若方向成立，可能对训练成本与硬件需求产生实质影响，但目前属于早期研究，效果与可扩展性有待独立复现验证。
「Infra」频道最新
- Qwen-Image-2.1-Turbo 去审查 GGUF 量化版发布,3.3GB 起可本地跑 — udmrzn · 2026-10-11
- iamtrask 补充：开发者弃自托管，转向 Fireworks AI 与 Tinfoil — iamtrask · 2026-10-11
- Bittensor 矿工调优推理软件,同卡同模型提速最高 54% — bittingthembits · 2026-10-11
- SkyPilot 线下 Meetup 纪要：GPU 调度、Holo4 训练与 SGLang 架构 — skypilot_org · 2026-10-11
- PyTorchCon 将展示 MoRI+vLLM：AMD GPU 上跨 pod MoE 推理 — PyTorch · 2026-10-11
- 开源项目 ODS V3 预发布：把 PC/Mac/Linux 变成私有 AI 服务器 — tom_doerr · 2026-10-10