HLE 基准翻车:0 参数「选最长选项」模型竟能跑赢强 LLM

tomaarsen · x · 2026-10-14

Antoine Chaffin 发现一个「Jev」模型在 Humanity's Last Exam(HLE)上的得分竟高于随机水平——这项基准即使对不带推理的强 LLM 也很难。检查数据后他宣布了一个 topping 该基准的「SOTA 决策模型」:只有 0 个参数,策略是选最长的选项。

这暴露了 HLE 选择题可能存在的偏差:正确答案选项更长,模型不靠知识、只靠选项长度启发式就能刷出超过随机的分数。转发者(tomaarsen)感叹「太惨了」——基准泄漏/偏差问题再度敲响警钟。