FlashStates 让混合架构推理预填充吞吐达 vLLM 的 3.14 倍

机器之心 · wechat · 2026-11-16

Together AI、UIUC 与 UT Austin 提出 FlashStates,重新设计「全注意力+线性层」混合架构模型的 KV 与循环状态缓存管理,已集成进 vLLM,SGLang 也采纳了其成本感知淘汰策略。

问题:混合架构(KDA、GDN、Mamba-2)在 Agent 多轮长上下文负载下,续算位置需要同时有完整 KV 和恰好位于该点的循环检查点。对真实 Claude Code 轨迹的归因分析发现三类可避免未命中:放置未命中(vLLM 低并发时占 43%)、依赖未命中(SGLang LRU 会踢掉 KV 仍在的检查点)、容量未命中,仅调检查点密度无法解决。

设计:

结果(B200 回放真实轨迹):预填充吞吐达 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)、1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 最多降 88.4%。接入 512GiB Mooncake CPU 缓存后,输出吞吐较 vLLM+Mooncake 再提升 41.4%,80 会话时 p90 TTFT 从约 22 秒降至 7.18 秒,并支持跨引擎、跨节点状态复用,为 PD 分离部署打基础。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →