缓存感知路由实测：共享前缀流量首 token 延迟从 6.88s 降至 0.31s
shoumikgoswami · reddit · 2026-11-08
Buoyant 的 Kinference 作为 vLLM worker 前置的请求路由层，利用缓存前缀命中和队列长度等信号调度请求。在其自测基准中，对共享前缀流量，中位首 token 时间从 Kubernetes 随机路由的 6.88 秒降到 0.31 秒；无共享前缀时两者无显著差异（6.92s vs 6.83s）。
注意事项：
- 对比对象是随机 pod 路由，而非另一款缓存感知路由器，双方均用 3 张 L40S 跑同一 Qwen 模型
- 这是厂商自测数据，不能直接外推到其他负载
- Kinference 仍处 alpha，README 中列明限流、语义分类器等功能缺失
作者的核心建议：自托管 agent 场景下，如果首 token 慢，先检查重复的系统提示词和对话历史是否路由到了能复用缓存的 worker，别急着怪模型。
「编程与Agent」频道最新
- Thinking Machines 限时免费开放 Inkling 2 Small 至 OpenCode 征集反馈 — clarejtbirch · 2026-11-08
- 1800 个会话观察:agent 蜂群自发形成科学分工 — _AustinCalvert_ · 2026-11-08
- 用 Claude 写出开源部署工具 hoist,实测部署停机时间反超 Dokploy — mynameiscorange · 2026-11-08
- 两天开发 Doodle Smash：手绘涂鸦秒变 3D 格斗角色互殴 — chongdashu · 2026-11-08
- 十几个 AI Agent 频繁撞限流,把检查间隔错开到 30 分钟就解决了 — Thomas_yang1 · 2026-11-08
- MCP 付费工具防翻车五原则：先报价、确认时二次计价、超时不算失败 — eminbudak · 2026-11-08