Agent Arena 实测 Jev Router:成本高38%、延迟翻倍,直连 DeepSeek 更划算
Agent Arena 发布对 @typesafeai 的 Jev Router 的系列评测,基于 4700+ 真实智能体会话。总体结论是:Jev Router 的选模与可操控性表现不俗,但整体成本-性能权衡不占优,直连 DeepSeek V4.1 闪光(最大)更划算。
已确认
- 性能与成本:要达到与 DeepSeek V4.1 闪光相近的性能,Jev Router 成本高 38%,未改进帕累托前沿;可操控性(steerability)接近 Opus 5.5。
- 延迟:端到端中位延迟 6.18 秒,远高于 DeepSeek V4.1 闪光(最大)的 3.64 秒,P90 达 30.6 秒。
- 路由分布:DeepSeek V4.1 闪光是最受青睐的模型,占全部调用的 28.1%;路由器明显偏好 OpenAI 而非 Anthropic,OpenAI 系模型合计超过一半。
- 模拟榜单成绩:若登上 Agent Arena 榜单,净提升 +3.6%,每任务中位成本 $0.155,可操控性仅比 Opus 5.5 低半个百分点;但总排名低于其最常路由的 DeepSeek V4.1 闪光。
- 选模能力:其最常用的 5 个模型中有 4 个位于 Pareto 前沿。
为什么重要
评测以真实智能体会话为样本,量化了「路由器」类产品在延迟与成本上的隐性代价,为「直接调用单一强模型还是使用路由」提供了可参考的实证依据。
2026-10-08 ~ 2026-10-08 · 5 条相关
一手来源
- 【源头】4700 会话实测 Jev Router:成本高 38%,可操控性接近 Opus 5.5 — arena · 2026-10-08
- Jev Router 路由偏好曝光:28% 调用给 DeepSeek,OpenAI 模型合计过半 — arena · 2026-10-08
- 【源头】模拟榜单:Jev Router 净提升 3.6%,可操控性仅差 Opus 5.5 半个百分点 — arena · 2026-10-08
- 【源头】Jev Router 实测:性能不差但延迟翻倍,直连 DeepSeek 更划算 — arena · 2026-10-08
- Jev Router 端到端延迟实测:中位 6.18 秒,P90 达 30.6 秒 — arena · 2026-10-08