dottxt 工具调用指数:LFM3-1.7B 同一模型在不同 provider 破损率从 7% 到 16%

remilouf · x · 2026-11-18

.TXT(dottxt)发布 Tool-call index(providers.dottxt.ai),追踪各模型在不同推理 provider 上的工具调用破损率(broken tool calls)。最新案例:Liquid AI 的 LFM3-1.7B 在 Liquid 官方 fp8 端点上工具调用破损率 7.19%,而在 Liquid fp8 的免费档位上升至 15.96%——同一个模型换个档位可靠性差一倍多。dottxt 调侃「Launch week is rough for tool calling」。

该指数覆盖数十个模型(DeepSeek、Kimi、GLM、Qwen、MiniMax、Mistral、Nemotron 等)在多家 provider 上的对比,核心结论是:工具调用可靠性不仅取决于模型,还取决于你选的 provider 和部署配置,做 agent 的选型时应把 provider 层纳入考量。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →