LLM 网关压测实战:p50 延迟只讲了一半,并发流式才是真瓶颈
jkriket · reddit · 2026-11-13
一位做 LLM 网关基础设施的工程师分享了网关性能评测的踩坑经验。核心观点:宣传中「微秒级开销」的基准数字往往没说清测的是什么——路由逻辑、网关内部耗时、还是客户端实际感受到的额外延迟,是三个完全不同的数。实用建议:①用固定响应延迟的 mock LLM provider 做直连基线,隔离网关/网络/压测器各自的开销;②采用开环(open-loop)压测,否则网关变慢会拖慢请求到达速率,掩盖高载下的问题;③关注 HTTP 版本:5000 req/s、1.5s 上游响应意味着约 7500 并发请求,HTTP/1.1 与 HTTP/2 处理方式差异巨大;④流式单独压测:普通 JSON 表现好的网关在数千并发 SSE 流(尤其 OpenAI/Anthropic 格式互转)下表现可能完全不同;⑤别只看中位数,p99 首 token 时间和流完成延迟才能暴露均值掩盖的瓶颈。结论:持续并发下的流式行为,比路由耗时的微秒数更能反映生产网关的真实水平。
所属事件:LLM 网关延迟实测：中位数仅 0.21ms，但 p99 与并发流式才是瓶颈(2 条相关)→
「Infra」频道最新
- 分析师推断多家实验室已跑通 Blackwell 训练栈，开支带 3-6 倍溢价 — teortaxesTex · 2026-11-13
- 爆料称中国主要模型均在 Blackwell 级芯片上训练,但规模令人失望 — teortaxesTex · 2026-11-13
- Sentdex：「中国间谍」指控可疑，更像是绕开出口管制的互利交易 — Sentdex · 2026-11-13
- 分析师研判 DeepSeek V4:Flash 版大获成功,V5 或走超高效小参数路线 — teortaxesTex · 2026-11-13
- vLLM 上线 Thinking Machines 新模型 Inkling-2-Small:594B MoE、1M 上下文、单卡 1100 tok/s — vllm_project · 2026-11-13
- Inkling 2 Small 推理数据：32K 上下文多轮 Agent 场景破千 TPGS — vllm_project · 2026-11-13