实测 GPT-2 KV cache:FLOP 省1000倍,延迟仅提速6倍
atronos_kronios · reddit · 2026-10-18
作者用 PyTorch 从零实现 GPT-2 small(124M)的 KV cache,对比理论节省与实测延迟、显存,并公开代码与详细文章。
- 正确性:与 HuggingFace 相比最大 logit 差约 6.1e-5,缓存与不缓存贪心生成 200 token 结果一致。发现一个有用的失败案例:cache 拼接顺序写反时单 token 注意力测试仍通过,但多 token 并行解码时失败。
- 延迟:context 长度 1000 时理论 FLOP 少约 1000 倍,但实测每 token 时间从 29.69ms 降到 4.95ms,仅约 6 倍;生成 1016 token 总耗时 14.66s vs 5.03s(约 2.9 倍)。作者推测剩余差距来自 CPU/kernel 启动开销,但尚未用 profiler 证实。
- 显存:公式为 72 KiB/token;初始测量有 8,519,688 字节的恒定偏移,溯源到 cuBLAS 惰性分配的 8.5MB workspace 及 8 字节 next-token 张量,预热并在基线中扣除后,16 个检查点处实测与公式差为 0 B。
作者强调这是教学性实现而非新算法,并征求补测建议。
「Infra」频道最新
- Solo.io 拆解 NVIDIA OpenShell 与 Agent Substrate：谁家 Agent 沙箱更能扩 — bibryam · 2026-10-18
- llama.cpp 新增 IQ2_K 至 IQ6_K 五种量化:同体积精度更高 — ethertype · 2026-10-18
- 分析称市场严重错估美光：HBM 五年放量 7 倍价格还翻近 3 倍 — JOBhakdi · 2026-10-18
- FT：美国 10 万亿美元 AI 基建遇冷，47 个项目延期或取消 — TansuYegen · 2026-10-18
- Google SRE 书出版十年,为 AI 与云时代全面重写推出第二版 — mgill25 · 2026-10-18
- Agens Volundr 32B v1 修复循环问题,MIT 引擎 16GB 跑 262K 上下文 — ComfortableKindly507 · 2026-10-18