dottxt 推出 Tool-call 索引：同一开源模型换推理商 tool-call 失败率差 13 倍
remilouf · x · 2026-11-11
dottxt 发布 Tool-call index(providers.dottxt.ai),系统测量同一开源权重模型在不同推理服务商上的 tool-call 失败率,发现最好与最差服务商之间差距最高可达 13 倍以上。作者 remilouf 指出:agent 跑在开源模型上时,其可靠性很大程度取决于一个你可能没刻意选择的决定——用哪家推理商,而「模型不会调工具」的锅有时其实在服务商。索引每周更新(本次更新至 2026 年 11 月 9 日),覆盖 DeepSeek、Gemma、Llama、MiniMax、Mistral、Kimi、Nemotron、gpt-oss、Qwen 等系列,例如 gpt-oss-120b 在最佳/最差商之间的失败率从 0.04% 到 58.42%,Llama 3.1 8B 从 1.78% 到 51.30%,Kimi K3 从 0.00% 到 0.72%。站点提供 llms.txt 可直接喂给 agent,也可用 npx skills add https://providers.dottxt.ai --skill choose-provider 安装技能,让 agent 自动选最优服务商。
「编程与Agent」频道最新
- 一条 prompt 花掉 2618 美元，实测者晒 Fable 5.2 通宵构建成果 — altryne · 2026-11-11
- DeepMind 发布 Gemini 4 Carbon，一键逆向移植 90 年代游戏 Theme Park — demishassabis · 2026-11-11
- Doherty 阈值 400ms：50 年未解决的 UX 延迟问题，现代系统仍在违反 — lauriewired · 2026-11-11
- Claude Code 未经同意把本地项目文档生成在线 Artifact,用户怒斥隐私风险 — OwariDa · 2026-11-11
- 用前沿模型爬坡优化你的 agent prompt,提升 F1 与一致性 — JensHonack · 2026-11-11
- Philschmid 发布 Gemini 4 Carbon 开发指南:1M 解码、swarm 多智能体实战 — _philschmid · 2026-11-11