田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优
田渊栋(tatsuhashimoto)为斯坦福 CS312 深度学习课设计一道关于 Looped Transformer 的直觉小测:模型复用同一中间 Transformer 块多次,考察训练中途解开权重共享的效果。实验公布三组对比的最终验证损失:标准稠密模型 Dense 最优(2.9333),而中途解绑(Untied midway)可挽回循环模型约 61% 的差距,表明循环 Transformer 整体不划算,但中途解绑能显著缩小性能损失。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 斯坦福 CS312 实测:循环 Transformer 不划算,中途解绑可挽回 61% 差距 — tatsu_hashimoto · 2026-11-19
- 田渊栋斯坦福 Deep Learning 课小测:训练中途解开权重共享会怎样 — tatsu_hashimoto · 2026-11-19