Together AI 发布 FlashStates，agent 推理吞吐最高提升逾 3 倍

Together AI 联合 UIUC、UT Austin 发布 FlashStates，针对混合架构 LLM（含循环层）服务 agent 工作负载时的前缀缓存失效、重复 prefill 等痛点提出优化。其核心思路是让 KV-cache 的块边界感知 agent 对话轮次，避免丢弃块内有效 token，仅此改动便带来可观效率收益，推理吞吐最高可达 vLLM 的 3.14 倍。有网友感叹该领域仍处于非常早期阶段。

2026-11-10 ~ 2026-11-12 · 2 条相关

• 让 KV-cache 块边界感知 Agent 轮次，吞吐最高提升 3 倍 — heghbalz · 2026-11-10
• Together AI 推出 FlashStates，agent 推理吞吐最高达 vLLM 3.14 倍 — burny_tech · 2026-11-12