DeepLoop 发布:循环两次的 Transformer 深度扩展新方案
burny_tech · x · 2026-09-04
Yifan Zhang 引述称部分前沿模型可能本质上是 48 层 Transformer 循环两次(48L x 2),并顺势发布 DeepLoop 项目,研究如何让循环 Transformer(Looped Transformer)在深度扩展上稳定且可扩展。循环结构用较少参数换取更深的有效计算,这一思路与前沿模型的 rumored 架构呼应,项目代码已在 GitHub 开源。
所属事件:DeepLoop 论文：循环 Transformer 可稳定扩展深度(2 条相关)→
「研究」频道最新
- 让模型自己声明注意力：零样本省下 31-52% KV cache 读取 — chaumian · 2026-09-04
- CAT-Flow 免训练自适应步长，Flow Matching 生成步数最多省 40% — chaumian · 2026-09-04
- Absolute Zero：零人类数据的自博弈推理，看模型代码能力军备竞赛 — cephaloform · 2026-09-04
- 数据:AlphaGo 之后职业棋手决策质量与新招速率双双跃升 — burny_tech · 2026-09-04
- OpenAI 开源仓库:GPT-6-Astra 用 Lean 形式化证明素数间隔新结果 — scaling01 · 2026-09-04
- WHALE 提出：联合优化 LLM 权重与外挂 harness 的简单配方 — lateinteraction · 2026-09-04