研究称多模型路由同成本下错误率降 46%,基准低估 AI

Martian发布「AI Frontier」研究并上线配套交互式工具，核心结论是：主流基准测试只评估单一模型、单次运行，既忽略不同模型各有所长，也无法反映模型稳定解题的能力，因而系统性低估了AI的真实能力上限。研究将请求在44个LLM之间路由，为每个成本档位构造可达到的最佳成绩曲线「Capability Frontier」，结果显示同等成本下错误率最多可降低46%；@testingcatalog的转述进一步提到基于21项评测、跨44个模型路由后错误率降幅达54%。@SucceededMind补充评测覆盖TerminalBench、LiveCodeBench等16个常用benchmark，且成本不变。

已确认

• 研究经同行评审，由Martian团队于9月4日发布，@CodeByPoonam与@dairai均予转述推荐
• 做法是把请求在44个LLM间路由，构建各价格点的最优性能「Capability Frontier」
• 交互式网站支持按实测成本、质量与可靠性横向对比44个前沿模型，覆盖编程、推理、事实性和agentic任务等维度，并可展示模型路由与重复采样如何改变性能前沿

为什么重要

• 该研究挑战了以单模型跑分排名为主的评测范式，主张按成本—能力前沿评估系统级方案
• 对开发者而言，路由方案意味着在不增加成本的前提下可显著降低错误率，为模型选型与系统设计提供新依据
• 不同帖子对降幅口径不一（46%与54%），反映具体数字可能因评测集与设置不同而变化，引用时需注明口径

2026-09-04 ~ 2026-09-04 · 6 条相关

• 【源头】研究称标准 AI 基准测试系统性低估能力,多模型路由错误率降 46% — CodeByPoonam · 2026-09-04
• Martian AI Frontier 一站对比 44 个大模型的真实成本与质量 — dair_ai · 2026-09-04
• Martian 用 44 个 LLM 构建能力前沿:同等成本下错误率显著降低 — kimmonismus · 2026-09-04
• 【源头】Martian 用 44 模型路由降错 54%：单模型跑分低估真实能力 — testingcatalog · 2026-09-04
• 多模型路由实测：同成本下 LLM 错误率直降 46% — SucceededMind · 2026-09-04
• Martian 模型路由：跨 16 项基准比单一最强 LLM 少 46% 错误 — minchoi · 2026-09-04