爆料人推算 GPT-6 Astra 为 4.2T 参数稀疏 MoE,约 112 层且半数层循环一次
scaling01 · x · 2026-09-28
长期做模型架构推算的账号 scaling01 给出对 GPT-6 "Astra" 的最新中心估计:总参数约 4.2T、每 token 激活约 120B,约 112 层,并循环复用其中 50% 的层一次。他推测该模型有大量专家、低激活率,并可能采用 mHC 或 Attention Residuals 类技术。他同时声称有证据表明 GPT-6 Sol、Luna 以及 Opus 5.5 并非循环语言模型,并提到有关 "Astra Minor" 的爆料指向更小的 Sol 版本。作者表示暂不写文章公开推算方法,以便继续分析后续模型。以上均为未经证实的推测。
所属事件:scaling01 推测 GPT-6 Astra 为 4-5T 参数循环架构模型(6 条相关)→
「模型」频道最新
- MazeBench token 效率榜:Fable 5.2 领先,将跑满 10 亿 token 验证 — patience_cave · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- MazeBench 新高:Fable 5.2 花费 90 小时和 6000 美元跑出 21% 登顶 — patience_cave · 2026-11-16
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16