Baseten 测评:开源模型换评测框架,单位通过成本可差 4.4 倍

baseten · x · 2026-11-18

Baseten 与 Runta 合作发布 FrontierHarness Eval v1.1,用 830 亿 token、27280 次 agent 运行,在 22 个评测框架和 5 个开源模型上对比编码 agent 的表现。

核心发现:

建议:用开源模型跑编码 agent 的团队应自建评测,并在新模型发布后重新测试自己的 harness。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →