数据图显示:LLM 裁判系统性高估更强模型的产出

scaling01 · x · 2026-11-22

scaling01 发帖(正文含俚语调侃,称这与中国模型追赶有关),附图是一张实证图表「Judges overrate tasks made by stronger models」:以裁判模型与人类评分之差对比产出模型与裁判的 MCI 差距,数据显示当产出模型强于裁判时,LLM 裁判系统性给出偏高评分,例如 GPT-5 给 Fable 5.1 的产出打 0.82 而人类只给 0.26,GPT-6 Astra 自评 0.80 而人类仅 0.30;当产出模型弱于裁判时评分基本与人类一致。这提示用 LLM 做自动评测时,被更强的模型产出会明显虚高。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →