LLM 推理一次只算一个 step:连续批处理如何榨满 GPU
arpit_bhayani · x · 2026-08-26
Arpit Bhayani 图解 continuous batching(连续批处理) 的原理:
- 生成响应是一个循环:每次迭代对当前序列跑一次前向、产出一个新 token,500 token 的回答就是 500 个独立的 step。
- 连续批处理把 step 与请求解耦:每个 token 生成后,调度器检查 batch,已命中 EOS 的序列立即逐出,排队的新请求立刻填进空位——新请求的第 3 个 token 可以和长请求的第 400 个 token 同处一个 batch。
- GPU 不关心各序列处于什么阶段,只对当前 batch 里的序列做前向。
- 这之所以可行,是因为 attention 和 KV cache 是按序列独立计算的(借助 PagedAttention 高效管理各请求的内存区域),不同阶段混批不会污染任何请求的上下文。
结果是 GPU 利用率保持高位、平均延迟下降,没有请求被先到的慢请求卡住。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15