Rayrun 推出 sPTC 技术,AI 响应速度提升 20%

lucgagan · reddit · 2026-08-31

Rayrun 实现了推测性程序化工具调用 (sPTC) 的首个 MCP 网关。该技术允许在模型生成参数的同时提前调用工具,从而将响应速度提升约 20%。文章提供了 @rayrun/sdk 的代码示例,展示了如何通过 codeRunAhead 接口在 OpenAI 或 Anthropic 的流式输出中喂养参数,实现安全读取的并行化。这对支持、数据分析等大量读取操作的场景尤为有效。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →