「选最长选项」零参数模型登顶 HLE,作者实测揭基准漏洞
antoine_chaffin · x · 2026-10-14
Hugging Face 研究员 antoinechaffin 发现其模型 Jev 在难度极高的 HLE（Humanity's Last Exam）基准上得分高于随机水平——即使不带推理的强 LLM 也很难做好，这引起了他的怀疑。
检查数据后他公布了讽刺性结论：一个只有 0 参数的「选最长选项」模型（总是挑最长的答案）就能登顶该基准，说明 HLE 的选项长度与正确答案存在相关性，可被无脑策略利用。
所属事件:「永远选最长答案」零参数模型跑赢 HLE 决策榜(6 条相关)→
「Fun」频道最新
- AI 生成科幻大片质感画面:太空边缘的隐形战机编队 — egeberkina · 2026-10-14
- 网友吐槽 AI 时代提示:「确定要用你的大脑吗?」 — Polymarket · 2026-10-14
- 「这看起来是长文档」：邮件里的 AI 摘要弹窗惹人烦 — paulnovosad · 2026-10-14
- Claude Code 配置截图火了:连「hand jobs」都要走 agent-scratch runner — StewartalsopIII · 2026-10-14
- 机器狗试图爬上自己的背，Conitzer 收录最新 AI 翻车现场 — conitzer · 2026-10-14
- 印度 TTS 模型为何比语音识别模型多？一条反直觉观察 — NirantK · 2026-10-14