深度增 3 倍参数暴涨 81 倍?Greenblatt 谈缩放架构的隐含代价
RyanGreenblatt · x · 2026-09-04
前 Anthropic 研究员 Ryan Greenblatt 在 X 上与 xuanalogue 讨论循环 Transformer(looped transformer)的缩放特性:xuanalogue 默认假设深度增 3 倍仅等效于参数增 3 倍(且因权重复用、缺乏专门化,等效性更低)。Greenblatt 回应称,按常规方式扩展该架构时,每 3 倍深度增长约对应 81 倍参数增长(可能是活跃参数,细节他也不确定),即深度缩放背后隐藏着平方级的参数膨胀代价。
所属事件:Greenblatt 与 xuanalogue 争论循环深度缩放的参数代价(6 条相关)→
「研究」频道最新
- CMU 与 Meta 开源 TrackEverything：追踪长视频全部 3D 点 — AdamWHarley · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- NVIDIA Cosmos3-H-Dreams：用生成式模拟让临床手术场景活起来 — Hugging Face Blog · 2026-10-21
- UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则 — UIUC-CS · 2026-10-21