Greenblatt 与 xuanalogue 争论循环深度缩放的参数代价

前 Anthropic 研究员 Ryan Greenblatt 在 X 上与 @xuanalogue 围绕「循环深度(recurrent depth)」与模型缩放的关系展开技术讨论，核心是 OpenAI 某模型推理能力提升的来源。Greenblatt 注意到 Jakub 的说法是「参数量在 GPT-4 的 2 倍以内」而非相对其他基准的 2 倍，据此推算该模型深度约增加 3 倍，并认为这一提升主要来自架构变化而非常规扩展：若按开放权重模型的缩放趋势，仅靠常规 scaling 把深度提高 3 倍，参数量需增大约 81 倍(应为激活参数)。

已确认

• 这是 Greenblatt 的推算观点而非官方数据，其依据是 Jakub 关于参数量上限的表述与开源模型的缩放趋势。
• 讨论对象是循环 Transformer(looped transformer)架构下深度与其他维度缩放的等价关系。

尚未确认

• 「深度增 3 倍≈参数增 81 倍」的换算依据受到 xuanalogue 质疑：他默认的假设是深度增加 3 倍、其他维度不变，仅等价于参数量增加 3 倍，双方对数学前提存在分歧。
• OpenAI 模型的实际参数量、深度与架构细节均未公开证实。

为什么重要

• 讨论触及缩放研究的核心问题：深度是否是其他维度扩展的因果前提。xuanalogue 反驳称，只有当宽度等维度无法在不加深的情况下高效扩展时，recurrent depth 才构成必要维度。
• 若 Greenblatt 的推断成立，意味着架构创新(如循环深度)可以以远小于常规 scaling 的参数代价获得能力提升，这对理解前沿模型的能力来源与算力投入方向有参考价值。

2026-09-04 ~ 2026-09-04 · 6 条相关

• 【源头】Greenblatt：模型深度 3 倍跃升来自架构而非算力堆叠 — RyanGreenblatt · 2026-09-04
• 循环深度 3 倍增益,相当于参数扩 81 倍的架构讨论 — xuanalogue · 2026-09-04
• 【源头】深度增 3 倍≈参数增 3 倍?质疑者挑战 81 倍换算 — xuanalogue · 2026-09-04
• 【源头】深度增 3 倍参数暴涨 81 倍?Greenblatt 谈缩放架构的隐含代价 — RyanGreenblatt · 2026-09-04
• 研究发现加深 3 倍参数暴增 81 倍,深度缩放因果引争论 — xuanalogue · 2026-09-04
• X 上争论 recurrent depth:加深是否模型扩展的必要维度 — xuanalogue · 2026-09-04