Pydantic AI CodeMode 推测执行:3 个慢查询 8.7 秒提速到 4.7 秒

samuelcolvin · x · 2026-10-18

Pydantic AI 的 CodeMode 新增推测执行(speculative execution)能力:通过 CodeMode(speculate=['getweather']) 声明工具后,当模型生成代码的某一行刚流入流式输出、字面关键字参数已完整时,对应工具调用立即启动,无需等模型写完全部代码。作者实测 3 个慢速查询总耗时从 8.7 秒降到 4.7 秒,接近减半。这个思路是把模型输出流与工具执行并行化,适合多个独立慢速 I/O 调用的 agent 场景。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →