实测工具调用让 API 慢至 32 倍,最差提供商达 41 倍
remilouf · x · 2026-11-18
dottxt 团队分享了一组工具调用质量的性能实测:模型在生成工具调用时每 token 的额外耗时显著高于纯文本输出,其测试中最严重的情形是单个请求慢至 32 倍,且拖慢的是整个批次而非单个请求。
配图展示了各提供商「工具调用 vs 纯文本」的每 token 额外耗时倍数:最高达 41 倍,多家在 12–17 倍区间,表现最好的也普遍有 10%–77% 的额外开销。团队强调这对 API 提供商来说是实实在在的服务成本,工具调用质量直接影响用户,但为其付出的延迟代价可能被严重低估。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18