scaling01 推测 GPT-6 若仅 3T 参数需循环 2-3 次,否则激活比达 2%

scaling01 · x · 2026-09-28

scaling01 在其 GPT-6 Astra 规模估计的后续讨论中补充推算:如果模型总参数量小得多(如约 3T),则各层可能需要循环执行 2-3 次;否则要解释其配置,就得假设高达 2% 的激活比(active ratio),这在实践中非常夸张。

与主帖同属一条推测线,均为未证实的架构与规模猜测。

所属事件:爆料者估算 GPT-6 Astra 或为 4.2T 参数循环语言模型(5 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →