作者澄清:513 题差距全在噪声内,HLE 决策榜没有赢家
antoine_chaffin · x · 2026-10-14
作者补充说明:这不是针对某个模型——没有任何一个被测决策模型更常选长答案。核心论点是模型间差距无意义:513 道题的规模下,几个百分点的差异都在噪声范围内。
去掉长度有帮助的题目后,所有模型都更接近随机猜测水平,没有一个能与其他模型区分开。结论:当 0 参数启发式能登顶排行榜,这个基准主要测的是噪声和数据集伪影,而不是知识。
所属事件:「永远选最长答案」零参数模型跑赢 HLE 决策榜(6 条相关)→
「模型」频道最新
- 开发者付费订阅 Gemini Ultra 一天后吐槽:Agent 体验都写不好 — yihui_indie · 2026-10-14
- NVIDIA 开源胸 CT 报告模型:7 万例扫描训练,单卡 30 秒出报告 — MaziyarPanahi · 2026-10-14
- Gemini 4 Argon 实测：代码分析惊艳，但额度五小时就烧光 — CarlosEduardoAraujo · 2026-10-14
- Gemini 4 Argon 访问指南:App、AI Studio、Antigravity 三渠道,Pro 月费 $19.99 — TawohAwa · 2026-10-14
- 网传 Claude Opus 5.5、Gemini 4 Argon、GPT-6 系列对比流出,真实性未证实 — TawohAwa · 2026-10-14
- Meta 推编码智能体 Muse Wonder Full，月费 50 或 200 美元对标 Anthropic — lemire · 2026-10-14