一笔粗算显示训练跑了约 3.7e24 FLOPs 的 H800
teortaxesTex · x · 2026-07-22
这条是在做一笔训练算力的粗算：某次前沿训练大概用了 3.7e24 级别的 FLOPs，硬件规模是 H800。
- 作者用两种方式交叉验证同一场训练：一边是 0.385 PFLOPs × 2048 张 H800 × 55 天，另一边是 37e9 × 14.8e12 × 6。
- 两个结果分别约为 3.74e24 和 3.28e24，数量级基本对得上。
- 作者把差异归因于 bf16 占比。
- 结尾的“50K Hopper bros in shambles”是在拿算力规模开玩笑，意思是这个量级大到让人咋舌。
「Infra」频道最新
- Engy 公布推理价格，Qwen3.6 缓存输入远低于 GLM-5.2 — markjeffrey · 2026-07-22
- 本地加云端推理像汽车的 65 英里巡航 — dmitry140 · 2026-07-22
- Alphabet 资本开支电话会，关键看钱买了什么 — tengyanAI · 2026-07-22
- 美国公司或需中国模型护网，但一次渗透就可能引发封禁 — natolambert · 2026-07-22
- DeepSeek 若进硬件象限会很有看头，阿里也有自研芯片 — teortaxesTex · 2026-07-22
- Triton 的 TTGIR 层既是价值核心，也是性能 bug 高发区 — dhruv2038 · 2026-07-22