Baseten 测评:开源模型换评测框架,单位通过成本可差 4.4 倍
baseten · x · 2026-11-18
Baseten 与 Runta 合作发布 FrontierHarness Eval v1.1,用 830 亿 token、27280 次 agent 运行,在 22 个评测框架和 5 个开源模型上对比编码 agent 的表现。
核心发现:
- 同一模型上,不同 harness 的「每次通过成本」(cost per pass)最多可相差 4.4 倍;
- Codex CLI 搭配 GLM-5.3 时成本排名第 1,但搭配 Kimi-K3 时在 22 个框架中仅排第 10——换模型时应考虑同时换 harness;
- 22 个框架中只有 Pi 始终保持在成本前 6。
建议:用开源模型跑编码 agent 的团队应自建评测,并在新模型发布后重新测试自己的 harness。
「编程与Agent」频道最新
- Cognition 推出 Devin Bots:一个 Bot 带一支 agent 团队干活 — marvinvonhagen · 2026-11-18
- Sentry CEO:让 LLM 产物更易读,是加速公司最被低估的事 — zeeg · 2026-11-18
- Google 发布 Gemini 4 Hydrogen 机器人插件,对话即可训练真机 — GoogleDeepMind · 2026-11-18
- 非工程师用 Replit 造出销售提案产品,总预算仅 541 美元 — socialwithaayan · 2026-11-18
- 用户实测:GPT-6.2 Astra 与 Sol 擅长电脑操作,让 Codex 自己跨平台测 UI — craigsdennis · 2026-11-18
- Together AI 对谈:如何打造一个前沿的本地化编程模型 — togethercompute · 2026-11-18