sPTC 推测式程序化工具调用开源，代码 Agent 提速约 1~1.2 倍

Alex Zhang 于 08-25 发布并开源 Speculative Programmatic Tool Calling（sPTC，推测式程序化工具调用），一种面向 RLM、CodeAct 等以代码为主要行动空间的 Agent 框架的 harness 层优化技术。实验显示可将 agent 提速约 11.2 倍，项目已在 GitHub 开源，并引发 dair-ai、CShorten30 等多个技术账号转发与技术解析。

已确认

• 核心机制：在 LLM 流式生成代码 REPL 调用块的同时，借助「Shadow REPL」对将要发生的工具调用进行推测，提前排队、并行执行并缓存结果；一旦预测被验证，结果立即可用，使工具调用时间与 Token 生成、REPL 执行时间重叠，减少用户等待
• 该技术直指的问题：传统 harness 中 agent 需等待模型流式输出完毕后才开始工具调用，工具调用正成为 Agent 应用的新瓶颈
• 设计灵感来自 CPU 推测执行与 LLM 推测解码，属于 harness 层通用优化技术，无需改动模型本身
• 项目已在 GitHub 开源发布，适用于 RLM、CodeAct 等框架

为什么重要

• sPTC 通过重叠工具执行与代码生成时间降低端到端延迟，是无需改模型的实用加速手段
• dair-ai、CShorten30、eliebakouch、eshorten300 等账号多次转发推荐并撰写技术解析，社区关注度较高
• 相关讨论中还提及推测性协作（speculative collaboration）等延伸方向

2026-08-25 ~ 2026-08-26 · 13 条相关

• 【源头】推测式程序化工具调用：覆盖代码生成与LLM推理 — a1zhang · 2026-08-25
• 【源头】sPTC：推测性程序化工具调用加速 Agent — a1zhang · 2026-08-25
• sPTC：推测式工具调用让代码生成提速 — CShorten30 · 2026-08-25
• sPTC：工具调用与代码生成重叠执行，agent 提速 1~1.2 倍 — dair_ai · 2026-08-25
• 推测性工具调用：重叠生成与执行时间，提升 Agent 效率 — CShorten30 · 2026-08-25
• sPTC技术：代码生成时推测调用并加速执行 — eliebakouch · 2026-08-25
• 新研究 sPTC：推测性工具调用提速代码生成 — a1zhang · 2026-08-25
• 推测性工具调用 sPTC：提前执行加速 Agent — CShorten30 · 2026-08-25
• 解析 sPTC：推测性程序化工具调用的技术原理 — CShorten30 · 2026-08-26
• 解析 Speculative Programmatic Tool Calling 技术 — CShorten30 · 2026-08-26
• 代码Agent提速新技：推测性程序化工具调用 — a1zhang · 2026-08-26

另有 2 条近重复转述:eshorten300 · Saboo_Shubham_