EMNLP 论文:多选题评分方案微调即可打乱模型排行榜
boydgraber · x · 2026-10-26
马里兰大学 Nishant Balepur 等人在 EMNLP 展示论文《Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation》,研究同一多选基准下不同评分方案对排名的影响。
- 论点:无需改 prompt 或指标，仅对多选题的评分方式做小改动，就能让基准更酷地测出模型能力差异
- 要点 1:不同评分方案会打乱排行榜名次，「扰乱多于回报」——不答对也不扣分等方案比简单的 number-right 更能区分模型
- 要点 2:Answer-Until-Correct 方案与 LLM-Arena 排名最吻合，提示模型应被要求「给出能与其他模型达成一致的分数」
- 要点 3:评分方案能暴露 LLM 怪癖——GPT 系过于自信，Command R+ 倾向弃权，LLaMA 拒绝消除歧义
「模型」频道最新
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26
- 现场幻灯片:OpenAI Dots 数周内登陆 EU/EEA 和英国 — testingcatalog · 2026-10-26
- OpenAI Codex 德国采用率曝光,Dots 欧洲上线引猜测 — testingcatalog · 2026-10-26