研究揭示 KV 缓存命中率高未必提升推理性能
AccBalanced · x · 2026-08-27
研究表明，更高的 KV 缓存命中率并不总是意味着更低的 TTFT(首字延迟)和 TPOT(每词输出时间)，或更高的吞吐量。研究分析了在不同 Agent 和 RL 工作负载下，具有不同请求评分目标的 LLM 路由器的表现，并分享了相关发现。Anyscale 已在 Ray Serve 的路由逻辑中采用了 Dynamo 的 FlashIndexer。
「Infra」频道最新
- NVIDIA FLARE 实现联邦多模态训练，通信量降 99% — dl_weekly · 2026-08-27
- Vercel数据：开源AI Token占比升至62%，挤压闭源份额 — gajesh · 2026-08-27
- 同预算怎么选:256GB Mac 还是两台 DGX Spark — Whyme-__- · 2026-08-27
- Edviro 拟用世界模型统一管理数据中心电力与冷却 — ycombinator · 2026-08-27
- 中美模型OpenRouter使用率反转，中国实验室效率优势显现 — AccBalanced · 2026-08-27
- SandboxAQ 开源 Switch：跨平台 Agent 共享工作空间 — Codeblix_Ltd · 2026-08-27