ICML 2026 Spotlight：ThunderAgent实现2倍智能体推理加速
togethercompute · x · 2026-07-30
Together AI 团队提出 ThunderAgent，一种针对大规模智能体推理的高吞吐量系统。该系统引入了全新的程序级抽象来调度智能体 LLM 请求，有效消除了 KV cache 抖动问题。
核心性能数据：
- 单节点吞吐量提升超 2 倍，且在高并发下 P50 延迟降低约 10 倍。
- 在 8 节点集群上实现 2.4 倍加速，从 16 到 64 个 GPU 呈现近乎线性的吞吐量扩展能力。
工程落地：
- 作为即插即用组件，仅需添加一个 programid 字段即可兼容现有引擎配置（如 KV 卸载和投机解码）。
- 格式无关设计，目前已支持 OpenAI chat completions API，且已被 SkyRL 和 NVIDIA Dynamo 采用。
该工作已被 ICML 2026 收录为 Spotlight 论文。
所属事件:Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍(7 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16