WolfBench 工作坊:单次满分不等于可靠,agent 评估六层拆解
AI Engineer · youtube · 2026-10-12
AI Engineer 大会上 Weights & Biases 的 Wolfram Ravenwolf 给出完整 agent 评估工作坊。核心案例:一个 agent 修复损坏 git 仓库拿了满分,但因只测了一个任务进不了默认排行榜——单次均分掩盖可靠性。WolfBench 的五个指标:平均/最佳/最差运行、至少解出一次的任务、每次都解出的任务;重复同一配置才能区分「运气好」和「真的稳」。
要点:
- 评估流水线分六层:benchmark、runner、sandbox、agent、模型服务、设置,各层版本、provider 路由、system prompt、资源限制、超时都会影响结果。
- 两个解读陷阱:更便宜的模型可能因 token 消耗更多反而总成本更高;更大推理力度可能因挤占执行时间反而降低分数。
- 基础设施故障要与真实任务失败区别处理;零温度也不保证可复现。
- 现场流程:用 Harbor 跑 Terminal Bench 任务,Marimo 仪表盘过滤无效运行,生成可交互排行榜,Weave 保留轨迹供回查命令与失败原因。
「编程与Agent」频道最新
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23