田渊栋斯坦福 Deep Learning 课小测:训练中途解开权重共享会怎样
tatsu_hashimoto · x · 2026-11-19
田渊栋(tatsuhashimoto)为斯坦福 CS312 深度学习课出的一道直觉小测,考 Looped Transformer:模型复用同一个中间 Transformer 块六次以省参数,如果训练中途解开权重共享会怎样?
他给出三组对照实验:Looped(全程复用同一块)、Untied midway(中途把共享块克隆成六份独立可训练副本)、Dense(从头训练六个独立块)。三者都执行 8 个块、同样的 614.4M token 预算、峰值学习率 0.003、中途重置 Adam 状态。问题:哪种方案最终验证损失最低?选项涵盖 Looped 胜、Untied 胜、Dense 胜(Untied 更接近谁)等。
所属事件:田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优(2 条相关)→
「研究」频道最新
- LMArena 推出 Agent Arena Index:290 万会话重构智能体排行榜 — arena · 2026-11-19
- Anatomical SOMA:带铰链关节与人体极限约束的仿真人模型开源亮相 — carlosdponx · 2026-11-19
- Boltz 融资 1.1 亿美元:开源药物设计模型下载破 500 万 — GabriCorso · 2026-11-19
- 机器人指尖触觉接入 Isaac Sim,实时生成触摸热力图 — KyleMorgenstein · 2026-11-19
- 台式合成设备迭代速度翻三倍,半数厂商在中国 — JacquesThibs · 2026-11-19
- Perceptron 发布 Ego 1.0 API:自我中心视频标注成本仅 Astra 八分之一 — AkshatS07 · 2026-11-19