ICML 2026 论文 ThunderAgent:解决智能体推理 KV 缓存抖动
togethercompute · x · 2026-07-30
智能体工作流在等待工具调用时会导致 GPU 空闲，大量并发时极易引发 KV 缓存抖动，传统 LRU 策略会盲目清除即将复用的缓存，导致级联式的全量重算。
ThunderAgent 在调度器层面解决了该问题，实现单节点吞吐量提升 2.5 倍，并在高并发下将 P50 延迟降低约 10 倍。该工作已被 ICML 2026 接收为 Spotlight 论文。
所属事件:Together AI 推出 ThunderAgent 引擎实现智能体推理翻倍提速(5 条相关)→
「编程与Agent」频道最新
- dspy-monty-interpreter v0.3.0 发布，强化多线程与隔离执行 — dbreunig · 2026-07-30
- ShadKit：在 SwiftUI 中复刻 shadcn 风格的 AI 应用组件 — jasonkneen · 2026-07-30
- 别被忽悠了：当前AI智能体的记忆系统只是RAG套壳 — Trick_Stretch_4746 · 2026-07-30
- 模型还是框架更关键？资深开发者剖析AI Agent的三大流派 — AccBalanced · 2026-07-30
- 开源实战：为本地优先应用接入MCP的5个经验教训 — mkngsm · 2026-07-30
- 超越人类监督循环：AI Agent 有效治理的四大核心要素 — marigo · 2026-07-30