实测 LLM 网关延迟:中位数仅加 0.21ms,p99 却高达 89ms
jkriket · reddit · 2026-11-13
Aklivity 创始人对自家的开源 LLM 网关 Zilla 做了基准测试,量化网关给 AI agent 带来的额外延迟。
主要发现:
- 4 vCPU 的 AWS 实例上,Zilla 在 5000 req/s 下成功处理 15 万条请求
- 端到端中位延迟 1502ms,直连 mock LLM 提供商为 1500.9ms;网关内部处理中位仅 0.21ms,模型路由只占 20µs
- 但 p99 尾延迟额外增加约 89ms——内部处理时间与客户端实际体验差距显著
- 流式场景对比:2000 req/s 下跨 OpenAI/Anthropic 两种 API 方言,Zilla 的 p99 流完成为 1.6-2.1 秒,优于 Bifrost 的 2.0-9.3 秒
作者强调这是用固定 1.5 秒响应的 mock provider 做的合成基准,非完整 agent 工作流,且流式对比存在运行间波动。结论:agent 会串行发起多次调用,尾延迟与流式行为在复杂工作流中被放大,集中式路由虽简化基础设施,但网关本身不应成为不可预测延迟的来源。完整方法与可复现配置已公开。
所属事件:LLM 网关延迟实测：中位数仅 0.21ms，但 p99 与并发流式才是瓶颈(2 条相关)→
「编程与Agent」频道最新
- 给 AI 助手做语音功能踩坑：25ms 自打断元凶竟是扬声器回声 — thechrisperry · 2026-11-13
- 博主用 ComfyUI 节点复刻 Adobe keynote 视频控制,零训练 — TomLikesRobots · 2026-11-13
- 杜克大学教授预言：Agent 将成为「意图到 FLOPs」的编译器 — DimitrisPapail · 2026-11-13
- 独立开发者用 Claude Code 打造免费音乐可视化器 IKANDY,已上 Steam — Far-Employee-9531 · 2026-11-13
- 用对比损失微调 CLIP 常因数据不足而失败，OpenCLIP 4.x 更易上手 — wightmanr · 2026-11-13
- v0 接入 Meta 设计系统 Astryx,自带 MCP/CLI 可供 Agent 检索组件 — iamsahaj_xyz · 2026-11-13