蚂蚁 Ling 团队论文:调度优化让 agent 评测批完成时间最多缩短 65%
dair_ai · x · 2026-11-17
dairai 推荐蚂蚁集团 Ling 团队的实用论文《Reducing Batch Makespan for LLM Agent Workloads through Inference–Environment Coordination》。
- agent 任务在模型推理与环境交互间交替,GPU 和沙盒互相等待;批完成时间由最长的轨迹决定
- 核心做法:长轨迹优先调度(CAAS,按已观测进度优先长链)、trajectory-aware 路由让轨迹留在持有其 KV cache 的 worker 上、在环境槽位受限时解耦样本准入与环境执行
- 用 workload-based 资源模型指导 KV cache 与 recurrent state 的显存分配,并给出参考样本并发度
- 在 BFCL、SWE-bench Multilingual、WideSearch、MCP-Atlas 上,批完成时间下降 10.4%–65.0%,评测分数不变;方法已用于 Ling-3.x 的训练与评测流程
- 论文还用受控回放(真实推理+录制的环境响应)做单优化项消融
要点:如果评测总是被少数长轨迹拖尾、其他 worker 空转,先改调度再考虑买更多 GPU。
「编程与Agent」频道最新
- Anthropic 与 Ode 联袂对谈:如何挖掘员工没说出口的隐性工作知识 — every · 2026-11-17
- 用 LangGraph 重建六 agent 医疗管线,替代医院每年 150 万美元系统 — MaryamMiradi · 2026-11-17
- 开源作者用 Devin AI 修 CI:文档站点被重复构建两次的省时改造 — DanielLockyer · 2026-11-17
- 美团等发布 AutoRL:多智能体自动督导 RL 训练,Qwen3 AIME 提 20 分 — omarsar0 · 2026-11-17
- 从 2300 个插件中精选:9 个值得周末上手实测的 Hermes Agent 插件 — Teknium · 2026-11-17
- 「有 jumbo 还开什么甲壳虫」:本地 vs 云端 coding agent 之争又起 — intellectronica · 2026-11-17