HLE 基准实测:「无脑选最长答案」得 20.7%,超过所有决策模型

rakeshsahni_ · x · 2026-10-14

用户 rakeshsahni 对 HLE(Humanity's Last Exam)513 道纯文本选择题(即 AA Decision Index 所用题集)做了测算:决策模型 Jev 在该题集上得 19.7%(略低于 AA 图表的 21%,因测试设置略有差异且输出不确定)。

而在这同一题集上,一个「永远选最长选项」的朴素策略得分达 20.7%,随机猜测为 16.4%——超过了所有被测的决策模型。作者指出这一效应主要来自数学和物理题,即题目选项长度与正确答案相关,模型得分领先可能被这种偏差解释。模型方 antoinechaffin 随后回应称其 SOTA 表述本是反讽。