sPTC：推测式工具调用让 Agent 提速 1~1.2 倍

作者 Alex Zhang 于 08-25 发布 Speculative Programmatic Tool Calling（sPTC，推测式程序化工具调用），这是一种面向 RLM、CodeAct 等以代码为主要行动空间的 Agent 框架的 harness 层优化技术，实验显示可将 agent 提速约 11.2 倍。

已确认

• 核心机制：在 LLM 流式生成代码 REPL 调用块的同时，对将要发生的工具调用进行推测，提前排队执行，使工具调用时间与 Token 生成、REPL 执行时间重叠，减少用户等待
• 设计灵感来自 CPU 推测执行与 LLM 推测解码，属于 harness 层优化
• 适用场景：以代码为主要行动空间的系统，尤其是 RLM 类 Agent 框架

为什么重要

• 传统 harness 中 agent 需要串行等待模型流式输出与工具执行，sPTC 通过重叠二者时间降低端到端延迟，是无需改动模型本身的实用加速手段
• dair-ai、CShorten30 等账号转发推荐，社区关注度较高；相关讨论中还提及推测性协作等延伸方向

2026-08-25 ~ 2026-08-25 · 5 条相关

• 【源头】推测式程序化工具调用：覆盖代码生成与LLM推理 — a1zhang · 2026-08-25
• 【源头】sPTC：推测性程序化工具调用加速 Agent — a1zhang · 2026-08-25
• sPTC：推测式工具调用让代码生成提速 — CShorten30 · 2026-08-25
• sPTC：工具调用与代码生成重叠执行，agent 提速 1~1.2 倍 — dair_ai · 2026-08-25
• 推测性工具调用：重叠生成与执行时间，提升 Agent 效率 — CShorten30 · 2026-08-25