Martian 模型路由比最强单模型少 46% 错误,成本降 85%
rohanpaul_ai · x · 2026-09-04
Martian 发布 AI Frontier,一个按任务、质量、实际成本与可靠性对比 LLM 的仪表盘,核心主张是「最优单模型」已不再是正确的优化单元——不同模型擅长不同工作负载。
关键数据：
- 在 16 个常用基准(TerminalBench、LiveCodeBench 等)上,oracle 路由在同等成本下平均降低 54% 错误；
- 相比单个最强模型,错误减少 46%,或以降低 85% 的 API 成本达到最强模型的质量；
- 作者指出每个基准都浪费了大多数模型的能力,组合不同模型能获得质量/成本/可靠性的更优搭配。
工具还衡量输出长度、推理行为、重试与稳定性等影响最终可用答案成本的因素,并附交互式网站与论文。
所属事件:Martian 发布 AI Frontier：44 模型路由同等成本降错近半(8 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21