上交大 TAO 调度框架:工具感知使 Agent 服务延迟最多降 26.8%

AIOR-Research · hf · 2026-10-29

上海交大联合斯坦福提出 TAO,面向 LLM Agent 服务的工具感知联合调度框架。Agent 服务在集群 GPU 上的模型推理与分布式 CPU 上的外部工具调用之间交替,现有系统忽视工具返回就绪度、用启发式策略做准入与放置,导致资源浪费与次优调度。

TAO 的价值接口结合近期工具就绪度、带时间衰减的节点级缓存信用与 token 占用,用动态规划在容量约束下联合选择与放置等待会话。在 12 组模型-负载-并发设置中,相比各指标最优基线:延迟最多降 26.8%,首 token 时间(TTFT)最多降 36.3%,解码吞吐最多提升 29.5%。