GPU 更快了 token 却没变快:LLM 推理的 CPU 调度瓶颈解析
blaizedsouza · x · 2026-10-15
一道经典 LLM 面试题的完整解析:把模型搬到更快的 GPU 上,kernel 确实跑得更快了,但逐 token 生成的延迟几乎没变,原因是哪里丢了加速?
- LLM 前向传播不是一整块 GPU 操作,而是注意力、矩阵乘、归一化、采样、数据搬运等一长串算子的序列
- 不用 CUDA Graphs 时,CPU 需要逐个准备并提交这些算子,每次 launch 都有少量固定开销
- 解码阶段每个 token 都重复类似算子序列,开销被不断放大:部分 kernel 只运行几微秒,GPU 做完就干等 CPU 提交下一个
- profiler trace 里的这些空洞就是消失的加速——瓶颈根本不在 GPU 算力,而在 CPU 提交流水
结论:纯堆算力买不来解码加速,需要 CUDA Graphs、多步批量提交等手段来消除 launch 开销。附有作者关于传统 ML 推理与 LLM 推理差异的延伸文章。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15