dottxt 工具调用指数:LFM3-1.7B 同一模型在不同 provider 破损率从 7% 到 16%
remilouf · x · 2026-11-18
.TXT(dottxt)发布 Tool-call index(providers.dottxt.ai),追踪各模型在不同推理 provider 上的工具调用破损率(broken tool calls)。最新案例:Liquid AI 的 LFM3-1.7B 在 Liquid 官方 fp8 端点上工具调用破损率 7.19%,而在 Liquid fp8 的免费档位上升至 15.96%——同一个模型换个档位可靠性差一倍多。dottxt 调侃「Launch week is rough for tool calling」。
该指数覆盖数十个模型(DeepSeek、Kimi、GLM、Qwen、MiniMax、Mistral、Nemotron 等)在多家 provider 上的对比,核心结论是:工具调用可靠性不仅取决于模型,还取决于你选的 provider 和部署配置,做 agent 的选型时应把 provider 层纳入考量。
「编程与Agent」频道最新
- Pocket Folio 开放 API+CLI,可用 AI agent 自动整理卡牌收藏 — cnakazawa · 2026-11-18
- Merge Agent Handler 上线 Triggers:邮件落地、PR 开启即自动触发 Agent — shensi · 2026-11-18
- 让前沿模型驾战机穿越《壮志凌云》峡谷:Astra 最强 Opus 拒飞 — abhi3188 · 2026-11-18
- 实测用 Grok Bot 做文献研究:一个问题到确定资助课题全流程 — MaxUnfried · 2026-11-18
- Incredibuild 团队推 Islo「企业软件工厂」,获 1500 万美元融资 — Shruti_0810 · 2026-11-18
- 16GB MacBook 实测:小米 MiMo v2.6 蒸馏版 0/10,输给原版 Qwen 9B — GapNew4766 · 2026-11-18