田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优

田渊栋(tatsuhashimoto)为斯坦福 CS312 深度学习课设计一道关于 Looped Transformer 的直觉小测:模型复用同一中间 Transformer 块多次,考察训练中途解开权重共享的效果。实验公布三组对比的最终验证损失:标准稠密模型 Dense 最优(2.9333),而中途解绑(Untied midway)可挽回循环模型约 61% 的差距,表明循环 Transformer 整体不划算,但中途解绑能显著缩小性能损失。

2026-11-19 ~ 2026-11-19 · 2 条相关