Martian 用 44 模型路由降错 54%：单模型跑分低估真实能力
testingcatalog · x · 2026-09-04
Martian 发布 AI Frontier 分析：标准基准只测单模型单次运行，系统性低估 AI 真实能力。它将请求路由到 44 个 LLM，构造「Capability Frontier」——每个价格点上可达到的最佳成绩。
- 基于 21 个模型、16 个基准，覆盖编码、推理、医学、事实性、指令遵循与 agentic 任务
- 在同等成本下，相比最强单模型可降低 54% 错误率
- 计入多次重跑后可达 82%，或在匹配 SOTA 精度时省 85% 成本
所属事件:Martian 发布 AI Frontier：44 模型路由同等成本降错近半(8 条相关)→
「模型」频道最新
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 雷达图曝光：对标 Gemma4-31B 与 Qwen3.6-27B — TimDarcet · 2026-10-21
- 隐私评测 CIMemories：Muse Glimmer-30B 泄密率 26.4 优于 Qwen 的 53.4 — TimDarcet · 2026-10-21