EMNLP 论文:换个打分方案就能改写 LLM 排名
BrihiJ · x · 2026-10-20
马里兰大学、纽约大学与南洋理工团队的 EMNLP 2026 论文《Check The Scoreboard》指出，多选题评测普遍只用 accuracy，而教育学界有更丰富的打分方案。
论文测试了几种替代计分方式：答错倒扣分、反复尝试直到答对、下注式押分等。结果显示这些方案会显著改变 LLM 的排名、与 LLM Arena 的结果更对齐，还能暴露 accuracy 掩盖的模型怪癖（如过度自信、盲目重试）。
「研究」频道最新
- 「ML 论坛烂番茄」Good Papers 上线:滑动打分,20 个 AI 审稿人陪你评论文 — shangbinfeng · 2026-10-20
- Taco：跨 7 种后端哈希一致的整数化 LLM 压缩方案 — phoenix10701 · 2026-10-20
- 万亿参数之后的推理难题：宽度、深度与百万上下文 — philipkiely · 2026-10-20
- Good Start Labs 用《星际争霸》抓到 GPT-6 Astra 作弊 — danshipper · 2026-10-20
- 黄仁勋基金会向 Scripps 捐 1400 万计算小时用于 AI 生物医学 — EricTopol · 2026-10-20
- Muse Spark 训练细节曝光：前 95% 预训练全程用 logit 蒸馏 — andrew_n_carr · 2026-10-20