DeepLoop 论文让循环 Transformer 可稳定扩展,并传前沿模型为 48 层循环两次
StartupYou · x · 2026-09-03
yifanzhang 发帖称「听说一些前沿模型基本上是把 48 层 transformer 循环两次(48L x 2)」,并以此引出其新论文 DeepLoop: Depth Scaling for Looped Transformers,声称让循环(loop)transformer 变得稳定且可扩展。另有转发称该说法得到「OpenAI Astra 确认」(未证实)。若属实,说明前沿实验室在用参数复用(循环深度)而非单纯堆层数来扩展模型深度——但该传闻目前仅为爆料,需谨慎对待。
所属事件:DeepLoop 论文：循环 Transformer 可稳定扩展深度(2 条相关)→
「模型」频道最新
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 雷达图曝光：对标 Gemma4-31B 与 Qwen3.6-27B — TimDarcet · 2026-10-21
- 隐私评测 CIMemories：Muse Glimmer-30B 泄密率 26.4 优于 Qwen 的 53.4 — TimDarcet · 2026-10-21