复用连接把 LLM 调用前预算检查 p99 从 1278ms 降到 414ms
Tough_Stretch_4045 · reddit · 2026-09-23
一位独立开发者实测自己部署在 us-east-1 的 LLM 调用前预算检查服务(每次调用前的 Redis 读写,判断用户是否超预算):
- 复用单一连接:200 次生产环境调用,p50 317ms / p99 414ms
- 每次新建连接:p50 446ms / p99 1278ms
差距几乎全部来自 TCP+TLS 握手:冷连接 TCP 约 156ms、TLS 约 315ms,请求还没发出;热连接地板约 253ms,基本是物理距离。
意外发现:响应的 cf-ray 后缀是 MRS——他从印度发出的请求经 Cloudflare 马赛边缘节点路由,而非孟买/金奈,部分'距离成本'来自套餐内无法控制的路由。客户端 2 秒超时后放行 LLM 调用,最坏情况是未检查的调用而非拦截用户。作者向其他做 gateway/guardrail/限流的人询问可接受的延迟与是否把检查移到调用之后。
「Infra」频道最新
- DarkbloomAI 付费一个月：日处理 token 从 4B 涨到 20B+ — gajesh · 2026-09-23
- InP 膜上硅光子电路：移相静态功耗低至 29 飞瓦 — jwt0625 · 2026-09-23
- 硅光芯片晶圆照片引热议:InGaAsP 异构集成相位调制器如何划片 — jwt0625 · 2026-09-23
- 燃气轮机订单排到 2030 年,涨价 195%,补电远水难解近渴 — FinanceYF5 · 2026-09-23
- 2026 年数据中心新增 18GW 需求,算完仍缺约 5GW — FinanceYF5 · 2026-09-23
- 大摩:美国数据中心缺电相当于六个纽约市 — FinanceYF5 · 2026-09-23