普林斯顿研究员谈好基准三条件与基准饱和之争

普林斯顿研究员 Ofir Press 提出设计好基准的三个条件：找到希望未来 AI 具备的能力、表达为可验证任务集合、以及最难的是让数据收集可扩展。他回应称，智能体越强，团队需花数月苦工才能找到模型未解决的新基准，但只要智能体不完美仍可构造区分性基准。Google 研究员 Andreas Steiner 则认为与其说基准饱和，不如说这类基准测的是「召回」——现役模型精度很强，召回能力却严重不足。

2026-10-02 ~ 2026-10-02 · 3 条相关