Agent 评测双基准法:能力集低通过率爬坡,回归集守住底线
HanchungLee · x · 2026-10-17
关于 agent eval 工程的实践经验讨论。Hanchung Lee 提出维护两套 benchmark:能力集(capability set)应保持极低的 pass@1,用于捕捉和爬升「明天才能做到」的前沿行为;回归集(regression set)的 pass@1 应接近 100%,用于确保系统不退步。被引用的 Vtrivedy10 补充:eval 应推动 agent 能力边界而非只测绘「现在」;未来行为往往缺少对应的 traces;对 RL 任务通常瞄准 0.2-0.6 的通过率以保留爬升信号——同样的逻辑也适用于不用于 hill climbing 的评测集。
「编程与Agent」频道最新
- Apple 推出 RSI-Inference Bench：AI agent 能否自己优化推理系统 — SumitGup · 2026-10-17
- Supabase 发布 Middleware 库：一次编写请求逻辑，任意 fetch 运行时复用 — dshukertjr · 2026-10-17
- Cognition 发布 Devin Oncall，Opus 5.5 与 GPT-6 Astra 调试基准双双满分 — tianyin_xu · 2026-10-17
- msgblast 开源：Mac 上一条 prompt 同时群发多个 AI Agent — msg · 2026-10-17
- 用 Deep Research 逆向 QuickTime 录屏为何比你的应用清晰 — gaganghotra_ · 2026-10-17
- Sentry 创始人实测：Vercel 沙箱最多 4 个挂载，跑不了多 Agent — zeeg · 2026-10-17