EpochAI 审查 8 个 Agent 基准:仅 1 个通过,3 个有缺陷

May_F1_ · x · 2026-10-26

EpochAI 发布 4 份新基准评测:仅 1 个被认定为 Verified(可信),3 个存在缺陷,另有 4 个因信息不足无法给出结论;审稿人容量是其扩评的主要瓶颈。

TianbaoX 引用此事提出「真实世界 Agent 的奖励不可能三角」:可靠可验证的奖励、广任务覆盖、低人力成本,三者难兼得。他认为编码 Agent 可能改变经济学——用其写验证器、生成反例、把失败转成回归测试;难点在于验证这些验证器是否符合用户真实需求,只靠生成更多评分代码不够,若验证环节也能规模化,「不可能」或不再成立。