实测工具调用让 API 慢至 32 倍,最差提供商达 41 倍

remilouf · x · 2026-11-18

dottxt 团队分享了一组工具调用质量的性能实测:模型在生成工具调用时每 token 的额外耗时显著高于纯文本输出,其测试中最严重的情形是单个请求慢至 32 倍,且拖慢的是整个批次而非单个请求。

配图展示了各提供商「工具调用 vs 纯文本」的每 token 额外耗时倍数:最高达 41 倍,多家在 12–17 倍区间,表现最好的也普遍有 10%–77% 的额外开销。团队强调这对 API 提供商来说是实实在在的服务成本,工具调用质量直接影响用户,但为其付出的延迟代价可能被严重低估。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →