Ofir Press 解析榜单分数差异:子集挑题与计分口径之弊

针对第三方报告分数远高于其官方排行榜的疑问,Ofir Press 给出两点解释:一是对方只使用了 200 个任务中的 166 个子集,很可能丢弃了原集合中 10 到 20 个最难的题;二是对方采用的平均通过率计分方式与官方口径不同,掩盖了任务的真实完成度。他对新榜单的算法提出质疑,认为这种「子集挑题加平均通过率」的做法会系统性抬高分数。

2026-09-23 ~ 2026-09-23 · 2 条相关