实测七个 LLM 路由器无一跑赢固定调用单个中档模型
dl_weekly · x · 2026-11-04
Hugging Face 上的 AutoBench Router Benchmark（ARB）对 7 个主流商业与开源 LLM 路由器做了预注册、成本感知的审计，覆盖 252 个 prompt、20 个模型的评分池。结论：没有一台路由器能在质量与成本的综合表现上击败「始终调用某个中价模型」的静态策略。
关键发现：
- 理论收益真实存在：若每题都精准选出满足质量线的最便宜模型，可达 100% Delta-Hit、每题 $0.0018；始终调用顶级模型 GPT-5.6 Sol 只有 87.5%、每题 $0.079。
- 实际捕获为零：17 个路由器设置无一落进「优于随机质量线且比随机更便宜」的目标区域；固定调用 GPT-5.6 Luna（85.3%、每题 $0.0043）作为静态策略已站在此区域，1 万次 bootstrap 重采样中没有任何设置能同时在质量与成本上击败它。
- 5/17 设置是常数：至少 90% 的流量被路由到同一个模型，等于前面挂了个旋钮的固定调用。
结论：当前商业 LLM 路由器基本没有真正「路由」，完整数据见 autobench.org。
「模型」频道最新
- 改 0.13% 权重零训练修复 OCR 模型空白页幻觉,榜单从 14 升到 8 — vanstriendaniel · 2026-11-04
- antirez 批评 Astra 论文:游戏任务可从输出偏差直接猜出,且认不出 Cannon — antirez · 2026-11-04
- antirez 复现 MIT 论文：LLM 权重里真有可看见的径向模式 — antirez · 2026-11-04
- 0.6B 后训练模型在 MATH 翻车：权重小缺陷致采样极敏感 — lateinteraction · 2026-11-04
- $500 档 Claude 订阅 36 小时烧光一周额度，配额成吐槽焦点 — StephanSturges · 2026-11-04
- FireFlash 长 horizon 编码 agent 登上 Terminal-Bench 4.0 46.2%,成本仅对手 1/30 — VioletNPeng · 2026-11-04