田渊栋斯坦福 Deep Learning 课小测:训练中途解开权重共享会怎样

tatsu_hashimoto · x · 2026-11-19

田渊栋(tatsuhashimoto)为斯坦福 CS312 深度学习课出的一道直觉小测,考 Looped Transformer:模型复用同一个中间 Transformer 块六次以省参数,如果训练中途解开权重共享会怎样?

他给出三组对照实验:Looped(全程复用同一块)、Untied midway(中途把共享块克隆成六份独立可训练副本)、Dense(从头训练六个独立块)。三者都执行 8 个块、同样的 614.4M token 预算、峰值学习率 0.003、中途重置 Adam 状态。问题:哪种方案最终验证损失最低?选项涵盖 Looped 胜、Untied 胜、Dense 胜(Untied 更接近谁)等。

所属事件:田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →