同一模型不同推理商 tool-call 失败率差 15 倍,dottxt 建索引追踪
remilouf · x · 2026-11-13
dottxt 上线 providers.dottxt.ai 工具调用可靠性指数,每周更新,横向对比各模型在不同推理提供商上的 tool-call 错误率。
- 核心发现:同一个模型在不同提供商上,tool-call 失败率差距可达 15 倍以上;作者还发现 token 质量与价格并不相关,贵不代表稳。
- 数据亮点(最好 vs 最差提供商错误率):Kimi K3.1 Pro 0.01%0.56% 表现最稳;DeepSeek V4.1 Flash 0.03%17.71%;MiniMax M3.1 Flash 0.10%18.40%;Llama 3.1 8B Instruct 最高可到 60.21%。
- 站点提供 llms.txt 和可安装的 skill(npx skills add https://providers.dottxt.ai --skill choose-provider),让 agent 自己选推理商。
所属事件:OpenRouter 数据:token 质量与价格无关,工具调用差异悬殊(2 条相关)→
「编程与Agent」频道最新
- 双智能体优化计算化学代码,TDDFT 计算最高提速 94% — CatAstro_Piyush · 2026-11-13
- Claude 经 MCP 搭 3D 场景,Nano Banana+Seedance 生成动作片预告 — azed_ai · 2026-11-13
- 用户把长会话从 Codex 迁到 T3 GUI，称体验大幅提升 — natesiggard · 2026-11-13
- TLAPS 验证 LLM 推理引擎:52 万义务安全证明仅增 0.18% 延迟 — tianyin_xu · 2026-11-13
- 1Password 推出 for Agents：让 AI 智能体安全使用你的账号 — dean_rie · 2026-11-13
- Compound Engineering 3.38 发布：新命令回溯会话自动修 agent 工作流 — kieranklaassen · 2026-11-13