研究称标准 AI 基准测试系统性低估能力,多模型路由错误率降 46%
CodeByPoonam · x · 2026-09-04
Martian 团队发布经同行评审的研究 AI Frontier，指出现有主流基准测试的系统性缺陷：只测单一模型、单次运行，既忽略了不同模型各有所长，也无法反映模型稳定解题的能力，导致 AI 真实能力被大幅低估。
核心做法与结论：
- 将请求路由到 44 个 LLM 中最合适的模型，构建各成本档位下的「能力前沿」（Capability Frontier）
- 在 TerminalBench、LiveCodeBench 等 16 个最常用基准上，相比单一最强 LLM 错误率减少 46%
- 在同等 SOTA 成本与质量下，分别实现错误率下降或成本节省
- 团队估计传统基准可能低估 AI 能力达 82%
研究附有交互式网站与论文原文，核心论点是「单模型单次」的评测范式无法刻画真实能力分布，多模型路由应成为新的评测与使用基线。
所属事件:Martian 发布 AI Frontier：44 模型路由同等成本降错近半(8 条相关)→
「模型」频道最新
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 雷达图曝光：对标 Gemma4-31B 与 Qwen3.6-27B — TimDarcet · 2026-10-21
- 隐私评测 CIMemories：Muse Glimmer-30B 泄密率 26.4 优于 Qwen 的 53.4 — TimDarcet · 2026-10-21