ICML 论文 ThunderAgent：多轮 Agent RL 吞吐量提升近 2 倍
simran_s_arora · x · 2026-07-30
被 ICML 2026 接收为 Spotlight 的论文 ThunderAgent，针对多轮智能体强化学习中的推理效率瓶颈提出了优化方案。该工作目前已整合至 verl-recipe 的 Dynamo 后端。
核心问题与方案
多轮 Agent 推理常因 KV cache 频繁交换导致 GPU 算力浪费。ThunderAgent 在调度器层面引入了程序感知路由机制来缓解此问题。
性能数据
- 在单节点推理中实现 2.5 倍的吞吐量提升
- 高并发场景下将 P50 延迟降低约 10 倍
- 在同步 GRPO 运行中，rollout 吞吐量提升 1.94 倍，全步吞吐量提升 1.39 倍
该系统对提升大规模 Agent 训练与部署的基础设施效率具有显著价值。
所属事件:Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍(7 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16