LLM 网关延迟实测：中位数仅 0.21ms，但 p99 与并发流式才是瓶颈

两位从业者分别对 LLM 网关性能进行了实测与反思。Aklivity 创始人基于 4 vCPU AWS 实例对其开源网关 Zilla 做基准测试，发现网关额外延迟中位数仅 0.21ms，但 p99 高达 89ms；另一位网关基础设施工程师则指出，宣传中「微秒级开销」的数字往往混淆了路由逻辑、网关内部耗时与客户端实际体验，p50 只讲了故事的一半，并发流式场景才是真正的性能瓶颈。

2026-11-13 ~ 2026-11-13 · 2 条相关