Pydantic AI CodeMode 推测执行:3 个慢查询 8.7 秒提速到 4.7 秒
samuelcolvin · x · 2026-10-18
Pydantic AI 的 CodeMode 新增推测执行(speculative execution)能力:通过 CodeMode(speculate=['getweather']) 声明工具后,当模型生成代码的某一行刚流入流式输出、字面关键字参数已完整时,对应工具调用立即启动,无需等模型写完全部代码。作者实测 3 个慢速查询总耗时从 8.7 秒降到 4.7 秒,接近减半。这个思路是把模型输出流与工具执行并行化,适合多个独立慢速 I/O 调用的 agent 场景。
「编程与Agent」频道最新
- GitHub Copilot 接入微软 Work IQ MCP,批量建 issue 从数小时缩到 30 分钟 — DanWahlin · 2026-10-18
- AI 高效工作法:先判断工作是否「AI 可验证」,再决定怎么干 — danshipper · 2026-10-18
- 个人 AI Agent 如何绕过网站封锁?真机操控或是最优解 — lucasmeijer · 2026-10-18
- LSCBench:AI 编码 agent 功能测试 91% 通过,安全仅 25% — krishnan · 2026-10-18
- 开发者复盘:为 AI Agent 构建 120+ 金融数据 MCP 工具的六条设计经验 — DanielAPO · 2026-10-18
- AI 编译优化连发十余个 PR:JSON 解析快至 2.9 倍,shift 从 n² 降为线性 — cramforce · 2026-10-18