EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估
scaling01 · x · 2026-10-16
EpochAI 配合《纽约时报》可视化发布了对 GPT-6(代号 Astra)训练算力与参数量的估算:预训练中位约 223M Blackwell GPU-hours、3.75e26 FLOP,RL 中位 0.19 倍于预训练,总训练 FLOP 中位 9.4e26(p95 达 1.8e27);预训练时长中位 88 天(90% 区间 42–135 天),平均动用约 10 万张 GPU。
scaling01 认为总算力估算大致合理,但存在明显问题:
- RL 算力仅为预训练 5.35 分之一的假设"很傻";
- GPT-5.5 已确认在 Stargate Abilene 训练,GPT-5.3-Codex、5.4、5.6 系列大概率也在那里,意味着 Astra 预训练不可能在各情景中都平均用满 10 万张 GPU;更可能是预训练晚于其模型的时间假设(他判断在 5 月初至 7 月底);
- 参数量估算未考虑稀疏化与 looping 趋势,且"明显过高"。
所属事件:EpochAI 发布 GPT-6 算力情景分析引热议(3 条相关)→
「Infra」频道最新
- FreeSolo 稀疏注意力：线性复杂度实现零样本长度外推 — Zekun Shi · 2026-10-16
- 开源 sleepy-llm 反向代理：让本地 LLM 服务器按需自动唤醒关机 — ac101m · 2026-10-16
- AI 芯片架构与经济学的交汇：一场跨视角讨论 — ai · 2026-10-16
- 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16
- 给预训练 Transformer 换上 Titan 模块：推理提速且性能损失有限 — behrouz_ali · 2026-10-16
- NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama，2-bit 量化塞进 24GB 本地跑 — ollama · 2026-10-16