斯坦福 CS312 实测:循环 Transformer 不划算,中途解绑可挽回 61% 差距
tatsu_hashimoto · x · 2026-11-19
Hashimoto 在深度学习课程 CS312 测验中公布三组对比实验的最终验证损失:
- Dense(标准稠密模型):2.9333,最优
- Untied midway(中途解绑权重共享):2.9805
- Looped(同一块复用 6 次):3.0538
中途解绑挽回了 Looped 与 Dense 之间约 61% 的损失差距。核心结论:
- 在 FLOPs 受限的 compute-matched 设定下,循环(looping)并不特别有用——权重共享越多,损失越高(6 passes 3.0149 → 2 passes 2.9510),与 Schwethelm 等已有论文一致
- 解绑后,原本相同的六份拷贝因处于网络不同位置而收到不同梯度,从而分化并恢复部分性能
配图为完整测验答案页,含损失对比图与不同共享程度的 sweep 结果。
所属事件:田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优(2 条相关)→
「研究」频道最新
- 机器人指尖触觉接入 Isaac Sim,实时生成触摸热力图 — KyleMorgenstein · 2026-11-19
- 田渊栋斯坦福 Deep Learning 课小测:训练中途解开权重共享会怎样 — tatsu_hashimoto · 2026-11-19
- 台式合成设备迭代速度翻三倍,半数厂商在中国 — JacquesThibs · 2026-11-19
- Perceptron 发布 Ego 1.0 API:自我中心视频标注成本仅 Astra 八分之一 — AkshatS07 · 2026-11-19
- 牛津论文:后训练让 LLM 世界观更灰暗,对话会滑向灵性极乐吸引子 — twiecki · 2026-11-19
- 研究者吐槽:当前环境不奖励真正的科学进步 — gerardsans · 2026-11-19