传闻前沿模型是 48 层循环两次,DeepLoop 论文探索深度扩展
dotey · x · 2026-09-06
- yifanzhang 引述传闻称部分前沿模型本质上是 48 层 transformer 循环两次(48L × 2)的 looped 架构,中文圈甚至猜测 OpenAI 是 2 次循环、字节是 4 次循环。
- 配套的 DeepLoop(Depth Scaling for Looped Transformers)论文提出让循环 transformer 稳定且可扩展的深度扩展方法。
- 该架构用少量参数通过循环复用获得更深的有效深度,若传闻属实将改变对前沿模型参数效率的认知(传闻未经证实)。
「模型」频道最新
- 「OpenAI 全面胜利」引发争论:Codex 是否真是最强编码 harness — IndraVahan · 2026-09-06
- GLM Coding Plan 提额:ZCode 内 Flash 限时无限用量 — pcuenq · 2026-09-06
- 一句话横评:astra fast 被认为强过 fable 5.1 — NERDDISCO · 2026-09-06
- 网友质疑 Anthropic NEM 奖励破解结果:真实环境并不复现 — voooooogel · 2026-09-06
- 开发者实测:OpenAI Astra 是唯一能推进极复杂项目的模型 — mrjonfinger · 2026-09-06
- GPT-6 Astra 10 分钟把 38 页小屋图纸变成 3D 漫游 — LukeW · 2026-09-06