深度增 3 倍≈参数增 3 倍?质疑者挑战 81 倍换算
xuanalogue · x · 2026-09-04
@xuanalogue 继续与 Ryan Greenblatt 讨论循环深度与参数扩展的等价关系。他质疑 Greenblatt 推算出的「3 倍深度≈81 倍参数」的数学依据：默认假设是深度增加 3 倍、其他不变，等价于参数量增加 3 倍；而且对 looped transformer 而言，由于参数复用、缺乏权重特化，实际等价增益还要低于这个数。
因此除非深度增加本身能解锁其他方向的能力或参数扩展，否则 81 倍的换算难以成立，推理能力提升可能另有解释。
所属事件:Greenblatt 与 xuanalogue 争论循环深度缩放的参数代价(6 条相关)→
「研究」频道最新
- Gemini 数小时破解悬置 59 年的核聚变磁场数学猜想 — DynamicWebPaige · 2026-10-21
- CMU 与 Meta 开源 TrackEverything：追踪长视频全部 3D 点 — AdamWHarley · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- NVIDIA Cosmos3-H-Dreams：用生成式模拟让临床手术场景活起来 — Hugging Face Blog · 2026-10-21