深度增 3 倍≈参数增 3 倍?质疑者挑战 81 倍换算
xuanalogue · x · 2026-09-04
@xuanalogue 继续与 Ryan Greenblatt 讨论循环深度与参数扩展的等价关系。他质疑 Greenblatt 推算出的「3 倍深度≈81 倍参数」的数学依据：默认假设是深度增加 3 倍、其他不变，等价于参数量增加 3 倍；而且对 looped transformer 而言，由于参数复用、缺乏权重特化，实际等价增益还要低于这个数。
因此除非深度增加本身能解锁其他方向的能力或参数扩展，否则 81 倍的换算难以成立，推理能力提升可能另有解释。
所属事件:Greenblatt称新模型深度三倍跃升源于架构而非参数堆叠(4 条相关)→
「研究」频道最新
- ORNL 用 AI 操控显微镜探针,连续 25 小时逐分子搭建材料 — Scobleizer · 2026-09-04
- OpenAI 研究员:GPT-6 思维链可控性随 RL 训练持续上升 — gleech · 2026-09-04
- 把 SGD 建模为渗流过程:解释训练中方差尖峰与相变行为 — Sai Niranjan Ramachandran · 2026-09-04
- Compile by Training:把自然语言规格编译成可本地部署的神经函数 — UWaterloo · 2026-09-04
- CORD:修复模型校准且严格保持原始预测结果不变 — Daehwan Kim · 2026-09-04
- Software World：用智能体模拟 GitHub 生态研究多智能体协作 — PangWeiKoh · 2026-09-04