Astra 或用 Recirculation 技术,有效参数提升 1.38 倍

scaling01 · x · 2026-09-02

讨论 Astra 可能采用的“再循环”技术。该技术类似于循环深度,虽然预训练计算和解码延迟不变,但推理 FLOPs 和预填充延迟会增加。另一项循环深度论文发现,运行相同的循环块两次可提供约 1.38 倍的有效参数乘数。这意味着 OpenAI 可能训练一个 10T 的循环深度模型,其性能相当于 13.8T 的普通模型。

所属事件:OpenAI Astra 被曝采用循环深度架构,隐藏思考过程引安全担忧(34 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →