「永远选最长答案」零参数模型跑赢 HLE 决策榜
Hugging Face 研究员 antoinechaffin 发现,一个名为 Jev 的零参数模型——其策略仅为「永远选最长选项」——在难度极高的 HLE(Humanity's Last Exam)基准上得分高于随机水平,而该基准即使对不带推理的强 LLM 也相当困难,这促使他深入检查数据并公开了发现,引发对 HLE 决策评测方法论的质疑。
已确认
- Jev 在 HLE 的 513 道纯文本选择题(即 AA Decision Index 所用数据集)上实测得分 19.7%,略低于 AA 图表所示的 21%,差异源于测试设置不同与输出非确定性。
- rakeshsahni 转述该测算时提到,「无脑选最长答案」策略可得约 20.7%,超过所有决策模型;即使不带推理的强 LLM 也难以做好该基准,零参数模型却能跑赢,暴露出基准的长度偏差。
- 去掉「长度有帮助」的题目后,所有模型都更接近随机猜测水平,没有任何一个被测决策模型更常选长答案,也没有一个能与其他模型区分开。
- tomaarsen 与 rakeshsahni 均转述了该发现,称该策略胜过所有被测决策模型。
为什么重要
- antoinechaffin 澄清,这不是针对某个模型(包括 Jev)的批评,核心论点是:在 513 道题的规模下,几个百分点的模型间差距都在噪声范围内,HLE 决策榜实际上没有赢家。
- 他强调「永远要看数据」:训练集和评测集充满答案长度、位置等各种偏差,很容易掉进去。他建议评测时始终先跑几个「笨基线」(如永远选最长答案),它们能抓住最大的偏差,这是对整个 HLE 决策评测方法论的一次警示。
2026-10-14 ~ 2026-10-14 · 6 条相关
一手来源
- 0 参数模型登顶 HLE 决策榜,「选最长答案」胜过所有决策模型 — antoine_chaffin ·
- 作者澄清:513 题差距全在噪声内,HLE 决策榜没有赢家 — antoine_chaffin ·
- 「永远看数据」:作者呼吁评测必须先跑笨基线 — antoine_chaffin ·
- 「选最长选项」零参数模型登顶 HLE,作者实测揭基准漏洞 — antoine_chaffin · 2026-10-14
- 【源头】0 参数模型登顶 HLE 决策榜,「选最长答案」胜过所有决策模型 — antoine_chaffin · 2026-10-14
- 【源头】作者澄清:513 题差距全在噪声内,HLE 决策榜没有赢家 — antoine_chaffin · 2026-10-14
- 【源头】「永远看数据」:作者呼吁评测必须先跑笨基线 — antoine_chaffin · 2026-10-14
- HLE 基准实测:「无脑选最长答案」得 20.7%,超过所有决策模型 — rakeshsahni_ · 2026-10-14
另有 1 条近重复转述:tomaarsen