Martian 发布 AI Frontier：44 模型路由同等成本降错近半
Martian 团队于 9 月 4 日发布经同行评审的「AI Frontier」研究并上线配套交互式工具，核心结论是：主流基准测试只评估单一模型、单次运行，既忽略不同模型各有所长，也无法反映模型稳定解题的能力，因而系统性低估了 AI 的真实能力上限。研究将请求在 44 个 LLM 之间路由，为每个成本档位构造可达到的最佳成绩曲线「Capability Frontier」，结果显示在 TerminalBench、LiveCodeBench 等 16 个常用基准上，同等成本下错误率比单一最强模型降低 46%；@rohanpaulai 的转述进一步提到成本最多可降 85%；@testingcatalog 的转述则称基于 21 项评测、跨 44 个模型路由后错误率降幅达 54%。
已确认
- 研究经同行评审（@minchoi 提及获 ICLR 相关认可），由 Martian 团队于 9 月 4 日发布，@CodeByPoonam 与 @dairai 均予转述推荐
- 做法是把请求在 44 个 LLM 间路由，构建每个价格点上可达到的最佳性能「Capability Frontier」，主张按任务动态路由而非硬编码给单一「最强」模型
- 交互式网站支持按实测成本、质量与可靠性横向对比 44 个前沿模型，覆盖编程、推理、事实性和 agentic 任务等维度，并可展示模型路由与重复采样如何改变性能前沿
为什么重要
- 该研究挑战以单模型跑分排名为主的评测范式，主张按成本—能力前沿评估系统级方案
- 对开发者而言，路由方案意味着在不增加甚至显著降低成本（最多 85%）的前提下大幅降低错误率，为模型选型与系统设计提供新依据
- 不同帖子对降幅口径不一（46% 与 54%），且成本节省 85% 的口径仅见于转发帖，引用时需注明具体评测集与设置
2026-09-04 ~ 2026-09-04 · 8 条相关
一手来源
- 研究称标准 AI 基准测试系统性低估能力,多模型路由错误率降 46% — CodeByPoonam ·
- Martian 用 44 模型路由降错 54%：单模型跑分低估真实能力 — testingcatalog ·
- Martian 用 44 个 LLM 构建能力前沿:同等成本下错误率显著降低 — kimmonismus ·
- 【源头】研究称标准 AI 基准测试系统性低估能力,多模型路由错误率降 46% — CodeByPoonam · 2026-09-04
- Martian AI Frontier 一站对比 44 个大模型的真实成本与质量 — dair_ai · 2026-09-04
- 【源头】Martian 用 44 个 LLM 构建能力前沿:同等成本下错误率显著降低 — kimmonismus · 2026-09-04
- 【源头】Martian 用 44 模型路由降错 54%：单模型跑分低估真实能力 — testingcatalog · 2026-09-04
- 多模型路由实测：同成本下 LLM 错误率直降 46% — SucceededMind · 2026-09-04
- Martian 模型路由：跨 16 项基准比单一最强 LLM 少 46% 错误 — minchoi · 2026-09-04
另有 2 条近重复转述:Arindam_1729 · rohanpaul_ai