开源 harness-evals:用成功率-成本散点图对比 agent 版本
slavadubrov · reddit · 2026-11-16
作者开源了一个小工具 harness-evals,回答一个问题:「我改了 agent 的 prompt/工具/审批步骤,它到底变好了没?」
- 写带检查项的任务 + 一个跑你自己 agent 的适配器,每个版本跑多轮,输出成功率、pass^k、成本、延迟及置信区间
- 可视化:成功率 vs 成本散点图、失败地图(标出每个版本在哪个任务的哪项检查上失败)
- 零依赖,MIT;pip install "git+https://github.com/slavadubrov/[email protected]"
作者还写了配套教程文章,并征集反馈:大家现在用什么对比 agent 版本(自写脚本、LangSmith、promptfoo?)
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16