分析称 Astra 用循环深度：1.38 倍有效参数乘数

scaling01 · x · 2026-09-02

针对 Astra 据报采用「循环深度」（recurrent depth，即循环 transformer）的分析：同一信息在生成下一个 token 前多次通过相同的 transformer 层，而非单次穿过固定层堆栈。

作者引用另一篇循环深度论文的发现——同一循环块跑两次可带来约 1.38 倍的有效参数乘数，推算 OpenAI 可以训一个 10T 参数的循环深度模型达到 13.8T 模型的表现，或 7.25T 模型达到 10T 的水平（乘数估计在 1.3-1.7 区间）。

代价是：预训练算力和解码延迟不变，但推理 FLOPs 增加、prefill 延迟上升。

所属事件:OpenAI Astra 被曝循环深度潜空间推理，安全圈忧 CoT 监控失效(96 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →