同名模型不同推理商,工具调用失败率差 15 倍

remilouf · x · 2026-11-17

dottxt 发布的 Tool-call Index 显示,同一个模型在不同推理服务商上的 agent 工具调用损坏率差异巨大。以 MiniMax M3.1 Flash 为例:在 Parasail(fp8) 上仅 0.10%,而在 SambaNova 上从 0.04% 恶化到部分服务商超过 10%(如 Wafer 的 nvfp4 量化达 10.28%)。

该指数基于每天约 340 万次工具调用、覆盖 12 家 MiniMax 推理服务商实测得出,同时列出各家的价格(约 $0.15/$0.60 每百万 token)、吞吐与在线率,每周更新。结论:给 agent 选模型时,推理服务商的量化与部署质量可能比模型本身更影响稳定性。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →