让 KV-cache 块边界感知 Agent 轮次，吞吐最高提升 3 倍
heghbalz · x · 2026-11-10
转发者感叹：仅让 KV-cache 的 block 边界感知 agent 对话轮次、避免丢弃块中 token，就能带来惊人的效率收益，「我们还在非常早期」。
配图是 FlashState 与 vLLM 在三个模型上的对比基准（并发 24-48 会话）：
- GLM-5.3-Flash NVFP4（1M 上下文）：Decode TPM/GPU 提升 3.02 倍，Prefill 提升 3.14 倍，未缓存 token p50 降 96%，TTFT p90 降 88%
- Nemotron 3 Super（1M）：Decode 提升 2.32 倍，未缓存 token 降 97%，TTFT 降 77%
- Qwen3.8-Flash-Next（512K）：Decode/Prefill 各提升 1.54 倍，未缓存 token 降 66%，TTFT 降 79%
核心洞察：agent 工作流的多轮对话结构若与缓存分块策略对齐，可大幅提高缓存命中，是当前推理栈里被忽视的优化空间。
「编程与Agent」频道最新
- 从第一性原理讲透上下文工程：注意力预算是 Agent 成败关键 — sharpeye_wnl · 2026-11-10
- 用共享 agents.md 编排多智能体：workspace=topic 组织法 — _AustinCalvert_ · 2026-11-10
- 绕过 Grok Bot 用量上限：接入 T3 Code 让它调用 Opus 5.5 干活 — Rasmic · 2026-11-10
- 用动态贴纸播报任务状态：Hark 在 iMessage 上试出新 UI 模式 — _AustinCalvert_ · 2026-11-10
- 嫌 Claude Code 读文件烧上下文？他用 MCP 把阅读外包给 Gemini — Lucanhtai15 · 2026-11-10
- 让 agent 找隐式状态机：一段人人都在装懂的提示词对话 — RajaswaPatil · 2026-11-10