前沿Agent基准测试被曝验证器设计缺陷

有开发者审查一个声称的「前沿」Agent 基准测试后发现严重工程缺陷：该测试采用部分得分机制，验证器为确定性打分器，但要求输出中包含任务提示词里并未给出的特定字段名，Agent 即使通过幻觉也无法推断出这些字段，导致测试结果失真。评论认为这类设计问题会显著影响对 Agent 真实能力的评估，凸显基准测试工程实现质量亟需规范。

2026-08-19 ~ 2026-08-19 · 2 条相关