sPTC:工具调用与代码生成重叠执行,agent 提速 1~1.2 倍

dair_ai · x · 2026-08-25

dair.ai 转荐的 Speculative Programmatic Tool Calling(sPTC)是 RLM 作者提出的又一 harness 层优化思路。

问题:传统 harness 里 agent 需要等待——模型流式生成一段代码块,块内的工具调用只有等整段生成完毕才会执行,工具延迟是「叠加」在 token 生成时间之上的。

做法:sPTC 在代码生成过程中就「投机式」预测即将发生的工具调用,在环境副本上提前启动安全的调用,让工具延迟与 token 生成重叠进行;猜错了的调用直接丢弃。

效果:目前实测带来 1 到 1.2 倍的速度提升,被认为很有前景。作者指出 harness 层还有很多类似的效率优化空间。

所属事件:sPTC:推测式工具调用让 Agent 提速 1~1.2 倍(5 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →