GPU 快在算力却慢在带宽:H100 每字节要摊 295 次运算
AccBalanced · x · 2026-11-16
akshaypachaar 的长文《How a GPU Actually Works》解释了 LLM 工程师需要的 GPU 直觉:算力不等于吞吐。
- 常见误区:芯片每秒运算次数高就应该生成更多 token。实际上算术单元大部分时间在等数据到达。
- 关键指标是算术强度:H100 16-bit 算力 989 TFLOPS,显存带宽 3.35 TB/s,相除约等于 295——每读取 1 字节就要做约 295 次运算才能喂饱芯片。
- 显存带宽的代际增长远慢于算力增长,这是量化、投机解码、continuous batching 等推理优化技术存在的根本原因。
作者同时开源了 time-to-first-token 仓库:一个 10 周、每天 30 分钟的 LLM 推理服务学习路线图(已 1.2k star),覆盖 vLLM、SGLang、量化、投机解码与基准测试,目标是一边学习一边交付一个真实的推理服务。
「编程与Agent」频道最新
- CAFE 聚合页追踪 Effect 生态:XState 6 beta 与 Foldkit 全职化 — samgoodwin89 · 2026-11-16
- RatTube 上线:Effect/Alchemy 技术栈学习视频 S 级清单 — samgoodwin89 · 2026-11-16
- 开发者用 Fable 5.2 制作游戏 demo,11 月 18 日演示 — ChrisGPT · 2026-11-16
- 独立开发者用 Antigravity 智能体集群,一天半做出 iPad 儿童数学游戏 — jacalulu · 2026-11-16
- 开源 MCP 服务器让 Claude 造出可玩的 CS2 小镇:2.45 万节点全流程实测 — SilentPrinciple8997 · 2026-11-16
- 网友用 100% AI 自定义游戏引擎做「鱼类播报」周更视频 — JynsRealityIsBroken · 2026-11-16