深度增 3 倍参数暴涨 81 倍?Greenblatt 谈缩放架构的隐含代价
RyanGreenblatt · x · 2026-09-04
前 Anthropic 研究员 Ryan Greenblatt 在 X 上与 xuanalogue 讨论循环 Transformer(looped transformer)的缩放特性:xuanalogue 默认假设深度增 3 倍仅等效于参数增 3 倍(且因权重复用、缺乏专门化,等效性更低)。Greenblatt 回应称,按常规方式扩展该架构时,每 3 倍深度增长约对应 81 倍参数增长(可能是活跃参数,细节他也不确定),即深度缩放背后隐藏着平方级的参数膨胀代价。
所属事件:Greenblatt称新模型深度三倍跃升源于架构而非参数堆叠(4 条相关)→
「研究」频道最新
- ORNL 用 AI 操控显微镜探针,连续 25 小时逐分子搭建材料 — Scobleizer · 2026-09-04
- OpenAI 研究员:GPT-6 思维链可控性随 RL 训练持续上升 — gleech · 2026-09-04
- 把 SGD 建模为渗流过程:解释训练中方差尖峰与相变行为 — Sai Niranjan Ramachandran · 2026-09-04
- Compile by Training:把自然语言规格编译成可本地部署的神经函数 — UWaterloo · 2026-09-04
- CORD:修复模型校准且严格保持原始预测结果不变 — Daehwan Kim · 2026-09-04
- Software World：用智能体模拟 GitHub 生态研究多智能体协作 — PangWeiKoh · 2026-09-04