科普线程讲透 LLM 推理指标：TTFT、TPS 与 TPOT

@abhijithneil 在连载科普中系统讲解 LLM 推理服务的核心性能指标：TTFT（首 token 时间）主要由 Prefill 阶段决定，即模型并行读取全部 prompt token 的耗时；Decode 阶段则逐 token 生成输出。TPOT（每输出 token 耗时，又称 token 间延迟 ITL）决定流式生成速度，例如 20 毫秒即每秒 50 token，是理解推理延迟的关键。

2026-09-04 ~ 2026-09-04 · 4 条相关

• LLM 推理科普连载：Prefill 并行读、Decode 逐 token 写的时间去哪了 — abhijithneil · 2026-09-04
• 推主连载科普 LLM 推理指标：TTFT、TPS、TPOT 到底在测什么 — abhijithneil · 2026-09-04
• 流式推理指标科普:TPOT 即 token 间延迟,决定生成速度 — abhijithneil · 2026-09-04
• TPOT 20 毫秒即每秒 50 token:一条线程讲透推理速度指标 — abhijithneil · 2026-09-04