「永远看数据」:作者呼吁评测必须先跑笨基线
antoine_chaffin · x · 2026-10-14
作者强调之前的发现不是针对 Jev,真正的结论是:永远要看数据。
训练集和评测集充满各种偏差(答案长度、位置等),很容易掉进去。他建议在评测时始终先跑几个「笨基线」(如永远选最长答案),它们能抓住最大的偏差。这是对整个 HLE 决策基准分析的经验总结。
所属事件:「永远选最长答案」零参数模型跑赢 HLE 决策榜(6 条相关)→
「研究」频道最新
- 让 Agent 学会预知失败：结局导向置信校准 AUROC 达 0.85 — SAP · 2026-10-14
- 港中文 Orchestra 框架让机器人按序完成长程多步操作 — CUOHK · 2026-10-14
- 百万小时第一人称视频训练，机器人能干没学过的活 — Scobleizer · 2026-10-14
- 学界告别天价训练：Nvidia 合作的 Octi 让灵巧手转向仿真 RL — KyleMorgenstein · 2026-10-14
- Meta-Video 指出视频理解评测黑箱:抽帧、后端、温度都会左右得分 — HildeKuehne · 2026-10-14
- BinProp scaffold 让大模型用写代码解释象棋走法，成绩近三倍 — OfirPress · 2026-10-14