分析称 Astra 用循环深度：1.38 倍有效参数乘数
scaling01 · x · 2026-09-02
针对 Astra 据报采用「循环深度」（recurrent depth，即循环 transformer）的分析：同一信息在生成下一个 token 前多次通过相同的 transformer 层，而非单次穿过固定层堆栈。
作者引用另一篇循环深度论文的发现——同一循环块跑两次可带来约 1.38 倍的有效参数乘数，推算 OpenAI 可以训一个 10T 参数的循环深度模型达到 13.8T 模型的表现，或 7.25T 模型达到 10T 的水平（乘数估计在 1.3-1.7 区间）。
代价是：预训练算力和解码延迟不变，但推理 FLOPs 增加、prefill 延迟上升。
所属事件:传 OpenAI Astra 采用循环深度架构，有效参数提升 1.38 倍(5 条相关)→
「模型」频道最新
- Fable 5.1 体验：更倾向扮演管理者与全局规划 — AlchainHust · 2026-09-02
- 马斯克透露 Grok 4.7 将于 10 天后发布 — XFreeze · 2026-09-02
- 曝 OpenAI Astra 疑似采用破坏思维链可监控性技术 — sjgadler · 2026-09-02
- 实测 Fable 5.1：接手多天难题，比 Opus 更不「Claude 腔」 — DimitrisPapail · 2026-09-02
- 评论：不应过度悲观解读 Astra 的循环深度 — xuanalogue · 2026-09-02
- Astra 的“循环深度”架构：权衡与局限 — daniel_mac8 · 2026-09-02