Together AI 推出 FlashStates，agent 推理吞吐最高达 vLLM 3.14 倍
burny_tech · x · 2026-11-12
Together AI 联合 UIUC、UT Austin 发布 FlashStates，解决混合架构 LLM（含循环层）服务 agent 工作负载时前缀缓存失效、重复 prefill 的问题。
核心技术：提出 Arbitrary State Checkpointing（ASC），把循环层 checkpoint 位置从 KV-cache 块边界解耦，可在 agent 上次离开的精确位置保存/恢复状态；再将混合状态管理建模为内存受限优化问题，用统一的成本感知在线策略实现细粒度状态复用，无需密集 checkpoint 存储。
实测数据（NVIDIA B200，编码 agent 负载）：
- GLM-5.3-Flash：prefill 吞吐达 vLLM 的 3.14 倍，p90 首字延迟降低 88.4%，延迟降 3.7 倍、用户成本降 2.5 倍
- Nemotron 3 Super：2.27 倍
- Qwen3.8-Flash-Next：1.54 倍
作者称吞吐与厂商利润均翻倍以上，对 agent 长对话复用场景收益显著。
所属事件:Together AI 发布 FlashStates，agent 推理吞吐最高提升逾 3 倍(2 条相关)→
「Infra」频道最新
- 传 Nvidia 董事会拟罢免黄仁勋，AMD 盘后暴涨 11% — Polymarket · 2026-11-12
- celld 演示：只用对象存储桶自托管 Workers、Durable Objects 和队列 — irvinebroque · 2026-11-12
- Azar 自省：芯片扩散战略过于透明，中国模型正转向华为 — beffjezos · 2026-11-12
- 24GB 内存老工作站也能跑 Agent：Pi Agent + Bonsai 2 9B 实测 — Potential_Block4598 · 2026-11-12
- DigitalOcean 实测:+4% 推理提速只是运行噪声 — AI Engineer · 2026-11-12
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12