Martian:跨 44 个 LLM 路由可在 16 项基准上减少 46% 错误
Arindam_1729 · x · 2026-09-04
Martian 发布 AI Frontier 项目,主张标准基准「单模型单次运行」的测法系统性低估了 AI 的真实能力。
核心做法与发现:
- 将请求在 44 个 LLM 之间智能路由,构建每个成本档位下的「能力前沿(Capability Frontier)」
- 在 TerminalBench、LiveCodeBench 等 16 个最常用基准上,错误率比单模型最优成绩降低 46%;或在同等质量下节省成本
- 关键结论:没有任何单一模型在所有任务上全面占优,每个基准都漏掉了大部分模型能力
项目附交互式网站与学术论文,观点指向「模型组合/路由」比押注单个模型更有价值。
所属事件:Martian 发布 AI Frontier：44 模型路由同等成本降错近半(8 条相关)→
「模型」频道最新
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 雷达图曝光：对标 Gemma4-31B 与 Qwen3.6-27B — TimDarcet · 2026-10-21
- 隐私评测 CIMemories：Muse Glimmer-30B 泄密率 26.4 优于 Qwen 的 53.4 — TimDarcet · 2026-10-21