假设性推演:80 万张 H100 能撑多大参数量的 GPT-6 级模型?

Gokbagbasi · reddit · 2026-10-17

Reddit 用户做硬件视角的思想实验:假设某厂商有 80 万张 H100 级 GPU,其中 10-30% 用于某模型的推理,每活跃用户 66 tokens/秒、并发 1-10 万,FP8 权重约每参数 1 字节。按 30% 分配即 24 万张 GPU、约 19.2 PB 显存,对应约 19.2 万亿参数的权重存储上限——这是扣掉 KV cache、运行时开销、冗余前的粗略上限。吞吐方面,10 万并发用户需 660 万 tokens/秒输出,能否达成取决于架构、批处理策略、显存带宽与并行方案,峰值 FLOPS 无法证明。作者明确声明 80 万 GPU 数字纯属假设、非 OpenAI 实际规模的验证,并邀请大规模推理从业者指正假设。