循环中间层收益 1.51-1.91 倍算力,或与 Anthropic J-Space 理论呼应
scaling01 · x · 2026-11-21
scaling01 评点 Thinking Labs 的 looped transformer 实验,并分享自己的复现结论:循环模型的「哪一段层」至关重要。
- Thinking Labs(Inkling 2 Mini,24 层分四块)将中间两个 block 各循环 3 次,官方数据显示循环中间 12 层在 28 项评测中的 27 项上优于循环后 12 层,计算等价增益达 1.51-1.91 倍(后者仅 1.24-1.36 倍)。
- 作者自己的实验同样发现循环前半或后半层效果差,中间层循环最稳,略高于中点可能是最优位置。
- 他提出一个大胆猜想:这解释了为何有效——推理完全发生在循环的「工作层」(workspace layers)中,呼应 Anthropic 的 J-Space 研究。Sonnet 4.5 的 J-lens CKA 分析显示模型层可分为 sensory(早期/低级解析)、workspace(中层/可复用内容)、motor(晚期/输出承诺)三个功能区,前半层承担输入/感知、后半层承担输出/运动,循环它们反而会「污染」这些功能。
所属事件:Thinking Machines 开源可变循环模型,验证循环层数影响(13 条相关)→
「研究」频道最新
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22
- Emily Riehl 推出 Lean 证明入门游戏,用交互方式教依赖类型论 — abhi9u · 2026-11-22
- Android 移动 Agent 评测论文清单:从 AppAgent 到 AndroidReality — East-Muffin-6472 · 2026-11-22