近600次训练证明:Looped Transformer 全量BPTT优于截断反向传播
Xuyuan Xiong · hf · 2026-10-28
港大 MMLab 与 Yale 的论文系统研究 Looped Transformer 中截断反向传播（BPTT）的价值。作者联合变动模型大小、训练 token 数与前后向循环次数，跑了近 600 次训练并拟合出统一的 scaling law，通过「有效参数」刻画循环与截断的影响。
关键结论：
- 尽管截断能省训练算力，拟合的 scaling law 在前后向循环数联合优化时仍偏好全量 BPTT；
- 在算力匹配的对比中，用更少循环的全量 BPTT 一致优于同算力的截断设置；
- 模型大小固定时，最优循环数与训练 token 预算随算力增长；若模型大小也可调，两个全量训练的循环是最优设置。
「研究」频道最新
- 物理学家旧论文重现：涨散定理可直接推出大学习率 SGD 噪声理论 — burny_tech · 2026-10-28
- EMNLP 2026 开设「智能体失败模式」教程，四阶段拆解 agent 何时失效 — wzenus · 2026-10-28
- 逻辑学家 Jeremy Avigad：AI 之争的中心必须是我们自己 — Machine Learning Street Talk · 2026-10-28
- 美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征 — meituan-longcat · 2026-10-28
- 实操对比:单神经元 steering 效果远逊于对比对控制向量 — burny_tech · 2026-10-28
- 有效学习率解释一切:峰值加衰减调度是偏差方差权衡最优解 — burny_tech · 2026-10-28