Verifiers 评测框架更新并默认忽略服务超时

AI 模型评测框架 Verifiers 发布了 v0.2.1 版本，重点优化了 agent 与编码评测工作流，新增了 Claude Code 等测试环境，并将原默认测试集更名为 bash。此外，该版本决定在默认情况下忽略 harbor 服务超时。开发者认为挂钟时间限制主要反映基础设施性能，忽略超时可以避免基础设施拖累模型真实成绩，但此举也引发了关于低延迟供应商可能受到不公惩罚的讨论。

2026-07-21 ~ 2026-07-21 · 4 条相关

• Verifiers v0.2.1 新增 Claude Code、Pi 和 Pool harness — xeophon · 2026-07-21
• Verifiers 把 default harness 改名为 bash，并移除旧环境 — xeophon · 2026-07-21
• 评测工具默认忽略超时，避免基础设施拖累模型成绩 — nirmal_dist · 2026-07-21
• 模型路由默认忽略超时，或致低延迟供应商受不公惩罚 — xeophon · 2026-07-21