kipply 推出推理成本算术教程,拆解 H200/B200 上的 prefill 与 decode 开销
ycombinator · x · 2026-09-29
waferai 发布号称最全面的 AI 性能工程系列仓库,第 6 部分由 Carol Chen(kipply)主讲 Transformer 推理算术。
- 围绕每个 token 所需的计算量、GPU 搬运的字节数与 GPU 间通信,构建近似推理成本模型,可用于分析 H200/B200/B300 上的延迟与吞吐。
- 示例基于 A100,并结合 NVIDIA Hopper 与 Blackwell 文档展开应用。
- 关键结论:prefill 与 decode 暴露的 token 并行度不同——prefill 一次性处理 prompt token,矩阵乘有更高的权重复用;小 batch decode 复用少,可能大部分时间花在加载权重而非计算上,应分阶段做 profiling。
- batching 可提升算术强度(arithmetic intensity),但文中被截断。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16