无反向传播预训练追平 backprop：forward-only 在 Noise 基准刷新纪录
tensorqt · x · 2026-10-20
Emanuele Rodolà 报告 forward-only pretraining 在 Noise 基准上追平了反向传播：Relay 方法在 8×H100 上 2.5 分钟拿到 val 3.704；同模型、同数据、同优化器的 backprop 为 3.712，此前的纪录 Boost→Cut 是 3.945/7.6 分钟。全程不使用 autograd。评论者打趣说 Emanuele 总是在无关聊天中随口抛出这种重磅结果。
「研究」频道最新
- UCSB REAL AI 招聘博士后,构建横跨 AI、化学、材料与机器人的自主实验室 — ninamiolane · 2026-10-20
- Rylan Schaeffer 总结预训练研究：评测 scaling、数据重复与规模交互 — RylanSchaeffer · 2026-10-20
- o1 发布前 9 个月他已提出研究预训练与推理算力兑换率 — RylanSchaeffer · 2026-10-20
- 生成式评测也有 scaling law：gold 似然预测 GSM8K 通过率 — RylanSchaeffer · 2026-10-20
- 累积数据可避免模型坍塌,论文背后还有未公开的 AI agent 故事 — RylanSchaeffer · 2026-10-20
- 研究者回顾:多模态通用越狱为何几乎不可能实现 — RylanSchaeffer · 2026-10-20