scaling01 推测 GPT-6 若仅 3T 参数需循环 2-3 次,否则激活比达 2%
scaling01 · x · 2026-09-28
scaling01 在其 GPT-6 Astra 规模估计的后续讨论中补充推算:如果模型总参数量小得多(如约 3T),则各层可能需要循环执行 2-3 次;否则要解释其配置,就得假设高达 2% 的激活比(active ratio),这在实践中非常夸张。
与主帖同属一条推测线,均为未证实的架构与规模猜测。
所属事件:scaling01 推测 GPT-6 Astra 为 4-5T 参数循环架构模型(6 条相关)→
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16