图解大模型推理：Prefill 与 Decode 两阶段如何影响速度
techNmak · x · 2026-08-12
这篇长文从底层机制剖析了 LLM 推理慢的原因，将生成过程拆解为两个核心阶段：
- Prefill（预填充）阶段：模型对输入的 Prompt 进行分词，并通过 Transformer 层进行高度并行化计算，同时构建 KV Cache。这一阶段的工作量直接决定了首字响应时间（TTFT），Prompt 越长，等待首个 Token 出现的时间通常也越长。
- Decode（解码）阶段：模型开始逐个生成新 Token。这是一个严格的串行过程（第 N 个 Token 依赖于第 N-1 个 Token），并不断复用和更新之前的 KV Cache。这一阶段的速度由每秒生成 Token 数（TPS）衡量。
作者指出，除了输入和输出长度，模型架构、显存压力、硬件带宽和批处理大小等因素都会显著影响推理的速度和成本。因此，当模型响应缓慢时，应区分是“首字出现慢”（Prefill 瓶颈）还是“后续生成慢”（Decode 瓶颈）。
所属事件:图解大模型推理：Prefill 与 Decode 两阶段底层机制解析(2 条相关)→
「Infra」频道最新
- 50W 功耗 Jetson AGX 64GB 实测 Qwen 系列模型:27B Q4 生成 10.5 token/s — Boognevatz2 · 2026-10-17
- 开源驱动让 RTX 5090 在 macOS 跑 Metal，本地推理多一条路 — quantier · 2026-10-17
- DFB 激光器将走向 LED 式过剩：作者测算 2030 年全球 1GW 产能 — jwt0625 · 2026-10-17
- 嘴上说市场不理性，CoreWeave 三位联合创始人已套现 33 亿美元 — GaryMarcus · 2026-10-17
- 96GB+48GB 显存玩家晒全本地智能体「Muse」,征长程任务模型选型 — CharlesStross · 2026-10-17
- Architect 创始人提议：像股票交易一样用拍卖市场给 AI 推理定价 — AccBalanced · 2026-10-17