模型路由评测遭质疑,研究者呼吁建好基准

OpenRouter 等模型路由方案近来饱受批评,但 Elvis Saravia 指出多数批评缺乏证据支撑,并引用 Alex Atallah 承认现有基准不足的回应,呼吁社区建立真正可靠的路由基准。他还在自建环境中实测 agent 路由,发现真实场景下的自测数据虽令人期待,但未必能泛化到所有任务,核心教训是公开基准数字说服力有限。

2026-09-27 ~ 2026-09-27 · 2 条相关

• omarsar0 实测 agent 路由:公开 benchmark 数字说明不了太多 — omarsar0 · 2026-09-27
• 模型路由评测缺位遭群嘲,Elvis Saravia 呼吁做真正的好基准 — omarsar0 · 2026-09-27