FlashStates 让混合架构推理预填充吞吐达 vLLM 的 3.14 倍
机器之心 · wechat · 2026-11-16
Together AI、UIUC 与 UT Austin 提出 FlashStates,重新设计「全注意力+线性层」混合架构模型的 KV 与循环状态缓存管理,已集成进 vLLM,SGLang 也采纳了其成本感知淘汰策略。
问题:混合架构(KDA、GDN、Mamba-2)在 Agent 多轮长上下文负载下,续算位置需要同时有完整 KV 和恰好位于该点的循环检查点。对真实 Claude Code 轨迹的归因分析发现三类可避免未命中:放置未命中(vLLM 低并发时占 43%)、依赖未命中(SGLang LRU 会踢掉 KV 仍在的检查点)、容量未命中,仅调检查点密度无法解决。
设计:
- 任意位置状态检查点(ASC):请求结束即捕获精确终点状态,PrefillExport 接口可在预填充中途导出状态
- 以「最小化重复预填充时间」为优化目标,基于 Greedy-Dual-Size 设计依赖感知的准入与驱逐策略,驱逐单位为检查点及其独占依赖块,无需超参
结果(B200 回放真实轨迹):预填充吞吐达 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 最多降 88.4%。接入 512GiB Mooncake CPU 缓存后,输出吞吐较 vLLM+Mooncake 再提升 41.4%,80 会话时 p90 TTFT 从约 22 秒降至 7.18 秒,并支持跨引擎、跨节点状态复用,为 PD 分离部署打基础。
「Infra」频道最新
- 美国出台新规限制远程访问先进 AI 芯片,GPU 租赁价格应声暴跌 — AIFlow_ML · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16