前 OpenAI 员工解析循环 Transformer：固定循环有效，动态循环不可靠
max_paperclips · x · 2026-09-02
前 OpenAI 员工对“循环深度”技术进行澄清：
- 固定循环是有效的架构决策，在同等参数和算力下能提升性能。训练时通过固定次数循环层实现，比思维链更高效，因其拥有独立的 KV cache。
- 动态循环通常不可靠且不划算，因无法维持独立 KV cache，常需牺牲性能。
- 文章还关联了近期关于 OpenAI “Astra AI” 使用“循环深度”的报道，指出该方法虽有助于成本和性能，但因掩盖推理过程而引发监控担忧。
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18
- SGPnP 论文获 IEEE 接收：扩散模型直插 PnP 重建框架 — prof_kamilov · 2026-10-18