Wafer 推出号称最全的 AI 性能工程资源库,首篇拆解 Transformer 推理
ycombinator · x · 2026-09-12
Wafer 上周发布了自称全球最全面的 AI 性能工程(Performance Engineering)资源库,并计划把其中所有资源逐篇发布。该系列第一部分是《All About Transformer Inference》,出自《How To Scale Your Model》,系统讲解 transformer 推理背后的计算量、显存流量与服务决策:
- 线性层与注意力在 prefill 和 decode 阶段的算术强度(arithmetic intensity)分析
- 按层数、KV 头数、head 维度、序列长度与精度估算 KV cache 大小
- 计算/HBM 带宽交叉点,以及 batch size 和量化如何移动该交叉点
- 由参数字节数、KV 字节数和硬件带宽推出的 decode 延迟与吞吐上限
- 通过 batching 实现权重复用,以及 KV 流量增长带来的吞吐收益递减
- 还涉及 GQA、KV 量化、PagedAttention 等话题
作者建议把这条推串作为入门起点,详细链接在推文线程里。
所属事件:Wafer 发布号称最全 AI 性能工程资源库,首篇深拆 Transformer 推理(2 条相关)→
「Infra」频道最新
- 不同 NVIDIA GPU 跑同一模型输出竟不同,BF16/FP8/FP4 精度实测 — Kyrannio · 2026-10-31
- Kubernetes AI Conformance 升级为 SIG Architecture 永久子项目 — TerryTangYuan · 2026-10-31
- Google 展示首条从太空生成的 AI 回复：一首俳句 — LinkedInNews · 2026-10-31
- llama.cpp 滑窗注意力上下文检查点堆爆内存的排查复盘 — jomi-se · 2026-10-31
- Cornell 教授联合创办的 Makora 获 175 万美元奖励，专攻 AI 提效降本 — srush_nlp · 2026-10-31
- Transformers.js 月 npm 下载量一年涨 9 倍，从 164 万冲到约 1500 万 — nicodotdev · 2026-10-31