ICML 2026 Spotlight:ThunderAgent 实现智能体推理 2 倍提速
togethercompute · x · 2026-07-30
Together AI 推出了 ThunderAgent，这是一个面向大规模智能体推理的高吞吐量系统，已被 ICML 2026 接收为 Spotlight 论文。
该系统引入了全新的程序级调度抽象，有效解决了多轮工具调用中的 KV cache 抖动问题。
核心性能数据：
- 单节点吞吐量提升超 2 倍，在高并发下 P50 延迟降低约 10 倍。
- 在 8 节点集群上实现 2.4 倍加速，从 16 到 64 个 GPU 具备近线性的扩展能力。
工程兼容性：
- 作为 Drop-in 替换方案，仅需添加一个 programid 字段即可无缝接入现有引擎配置（如 KV offloading 和投机解码）。
- 格式无关设计，目前已原生支持 OpenAI chat completions 接口，并被 SkyRL 和 NVIDIA Dynamo 采用。
所属事件:Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍(7 条相关)→
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80 — Subject_Poet_3861 · 2026-10-16