0 参数模型登顶 HLE 决策榜,「选最长答案」胜过所有决策模型
antoine_chaffin · x · 2026-10-14
作者 Antoine Chaffin 在 HLE 的 513 道纯文本选择题(即 AA Decision Index 所用数据集)上实测,Jev 得分 19.7%(略低于 AA 图表的 21%,因测试设置差异与输出非确定性)。
他发现一个尴尬的事实:永远选最长选项这个 0 参数启发式在同一数据集上得 20.7%,高于随机猜测的 16.4%,也超过所有被测的决策模型——这种长度效应主要来自数学和物理题。
作者强调这不是针对 Jev:没有任何一个模型系统性地偏爱长答案,真正的问题是 513 题的规模下几个百分点的差距都在噪声范围内;去掉长度有帮助的题目后,所有模型都更接近随机水平,没有谁脱颖而出。「当 0 参数启发式能登顶榜单,说明基准主要在测噪声和数据集伪影,而非知识。」
所属事件:「永远选最长答案」零参数模型跑赢 HLE 决策榜(6 条相关)→
「模型」频道最新
- transformers serve 新 decision 管线:统一支持 jev/clef/von 等模型 — art_zucker · 2026-10-14
- Gemini 4 Argon 实操:服务端后台执行跑长推理,输出可达 26 万 token — rseroter · 2026-10-14
- FrontiersMind 开源 27B 决策模型：一次前向即可打分，胜率 90.7% — kalyan_kpl · 2026-10-14
- 作者分享 LLM 推理议题演讲，称反映其当前思考全貌 — rao2z · 2026-10-14
- 实测 Gemini 4 Argon:能力尚可但每任务步数偏多,回复总带气泡符号 — DanielLockyer · 2026-10-14
- 用户晒弃订截图：放弃 Google AI Ultra，改选 Opus5.5 — yihui_indie · 2026-10-14