GLiDE 登顶 Decision Index 引争议:HF 研究员质疑靠推理刷分不公平

antoine_chaffin · x · 2026-10-06

Hugging Face 研究员 Antoine Chaffin 对 GLiDE 在 Decision Index 上超越 Jev 的结果提出保留意见:GLiDE 很可能重新加入了生成式推理,大幅拉高知识与推理板块得分,但“在需要时激活推理”与这些模型原本的设计初衷并非同类方法。他实测认为,只要启用推理,让骨干模型在 HLE 等基准上保持原始性能并不难——这正是当初掉分的原因,所以这不算 apples-to-apples 的比较。他也肯定了“在校准分数提示时激活推理”是可行的方向,并提到 OpenAI 本周也发布了自己的 decision model,这个赛道竞争激烈。