循环深度论文：同一层跑两次可获得 1.38 倍等效参数
scaling01 · x · 2026-09-02
介绍新论文 《How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models》，研究循环深度（looped/recurrent depth）语言模型的等效参数缩放规律。
作者补充的关键推论：
- 另一篇 recurrent depth 论文发现，同一循环块多跑一次约等于 1.38× 等效参数乘数
- 若采用类似 Recirculation 的方案，预训练计算量和解码延迟不变，但推理 FLOPs 与 prefill 延迟增加
- 由此推算 OpenAI 理论上可以训练一个 10T 参数的 recurrent depth 模型，表现相当于 13.8T 模型；或 7.25T 参数等效约 10T
所属事件:OpenAI Astra 被曝循环深度潜空间推理，安全圈忧 CoT 监控失效(96 条相关)→
「模型」频道最新
- OpenAI 测试列表惊现 aurora 红/绿/蓝三个 alpha 模型检查点 — ChrisGPT · 2026-10-18
- 波兰开发者业余两周造决策模型,开源榜第一超众多商业产品 — lukaszkaiser · 2026-10-18
- DeepSeek V4.1 Flash 智能体分暴涨,长程任务提升但约束遵循下滑 — teortaxesTex · 2026-10-18
- 科学计算大佬实测：日常维护任务开源模型反超，但深挖代码缺陷仍靠 Opus — ChrisRackauckas · 2026-10-18
- DeepSeek V4.1 Flash 冲进 BuildingBench 前五,成本仅 Sonnet 的 1/15 — Lianhuiq · 2026-10-18
- MOSS SFT、Flux 3 Klein 与 SD 3.0 同提示词横评,SD3 老底被揭 — ZootAllures9111 · 2026-10-18