Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍

Together AI 推出面向大规模智能体推理的高吞吐量系统 ThunderAgent，该成果已被 ICML 2026 接收为 Spotlight 论文。系统通过引入程序级调度抽象，在调度器层面解决 KV 缓存抖动问题，实现单节点吞吐量 2 倍提升，并支持多节点近线性扩展。

已确认

• ThunderAgent 引入程序级抽象来调度智能体的 LLM 请求，传统请求级引擎无法感知同一工作流中多次调用的关联性，在等待工具调用时导致 GPU 空闲，传统 LRU 策略会盲目清除即将复用的缓存，引发严重的 KV cache 抖动与级联重算。
• 性能数据：单节点吞吐量提升 2 倍；从 16 GPU 扩展至 64 GPU 时，步骤/分钟从 671 提升至 2248；2 节点（32 GPU）速度为单节点的 1.79 倍，8 节点（64 GPU）为 2.39 倍。
• 该引擎为即插即用，只需一个 program 即可运行。

为什么重要

复杂智能体工作流通常包含多轮工具调用，传统推理引擎在处理此类并发任务时存在严重效率瓶颈。ThunderAgent 从底层调度机制入手消除缓存抖动，以较低接入成本显著提升大规模集群的推理吞吐量，对多轮 Agent 强化学习等场景具有重要价值。

2026-07-30 ~ 2026-07-30 · 7 条相关

• ICML 2026 Spotlight:ThunderAgent 实现智能体推理 2 倍提速 — togethercompute · 2026-07-30
• 【源头】Together Compute 发布多节点推理引擎，支持近线性扩展 — togethercompute · 2026-07-30
• 【源头】ICML 2026 论文 ThunderAgent:解决智能体推理 KV 缓存抖动 — togethercompute · 2026-07-30
• ThunderAgent 引擎实测：吞吐量翻倍，多节点扩展近乎线性 — togethercompute · 2026-07-30
• ICML 论文 ThunderAgent：多轮 Agent RL 吞吐量提升近 2 倍 — simran_s_arora · 2026-07-30

另有 2 条近重复转述:togethercompute · simran_s_arora