ICML 2026 论文 ThunderAgent:解决智能体推理 KV 缓存抖动
togethercompute · x · 2026-07-30
智能体工作流在等待工具调用时会导致 GPU 空闲，大量并发时极易引发 KV 缓存抖动，传统 LRU 策略会盲目清除即将复用的缓存，导致级联式的全量重算。
ThunderAgent 在调度器层面解决了该问题，实现单节点吞吐量提升 2.5 倍，并在高并发下将 P50 延迟降低约 10 倍。该工作已被 ICML 2026 接收为 Spotlight 论文。
所属事件:Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍(7 条相关)→
「编程与Agent」频道最新
- 开源工具：AI 自动看 YouTube 生成小红书图文 — yangyi · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- Demo 之外的真坑:Reddit 讨论企业 AI 落地最难的一公里 — djgoel123 · 2026-10-16
- 让 Claude 写计划、Codex 来审：双模型互查工作流实操 — theteknosaur · 2026-10-16
- NPCTalk 让 GTA V NPC 可实时对话:开源方案可移植任意游戏 — ChocolateDull8971 · 2026-10-16
- MCP 作者 Simon Willison：Code mode 将取代传统工具调用 — springrod · 2026-10-16