排行榜第一不等于最佳选择:W&B 工作坊教你自建 agent 评测基准

WolframRvnwlf · x · 2026-10-31

Weights & Biases 的 Wolfram Ravenwolf 在 AI Engineer World's Fair 的「From Zero to Leaderboard: Agent Evaluation」工作坊上线。核心观点：模型表现是一个分布而非一个点，单一榜单分数可能掩盖真相——榜单上的赢家按账单算可能是更差的选择。其 WolfBench 方法分别追踪：每次运行都解决的基准占比(一致性)、多次运行的平均值、以及能力上限。工作坊还覆盖构建自有 benchmark 前必须做的各项决策，是实操向的 agent 评测建设指南。