数据图显示:LLM 裁判系统性高估更强模型的产出
scaling01 · x · 2026-11-22
scaling01 发帖(正文含俚语调侃,称这与中国模型追赶有关),附图是一张实证图表「Judges overrate tasks made by stronger models」:以裁判模型与人类评分之差对比产出模型与裁判的 MCI 差距,数据显示当产出模型强于裁判时,LLM 裁判系统性给出偏高评分,例如 GPT-5 给 Fable 5.1 的产出打 0.82 而人类只给 0.26,GPT-6 Astra 自评 0.80 而人类仅 0.30;当产出模型弱于裁判时评分基本与人类一致。这提示用 LLM 做自动评测时,被更强的模型产出会明显虚高。
「模型」频道最新
- JUP-Eval 考什么:模型被用户施压后还守不守得住正确答案 — geoffwolfe · 2026-11-22
- 网友展示 Gemini 生成代码注释:用「像打开的抽屉」类比贴顶 — AI_Andrew · 2026-11-22
- 中国模型落后约 200-250 MCI,追赶反馈反而更有效? — scaling01 · 2026-11-22
- 预言:半年后前沿实验室将用「证明黎曼猜想」当跑分 — khademinori · 2026-11-22
- 第三方 Agent 基准实测:Hydrogen 每任务仅 $0.37,Neon 要 $0.84 — Money-String4165 · 2026-11-22
- 26B 开源模型 Inkling-2-Mini 可在 16GB 本地跑, SWE-bench Pro Hard 达 77.9% — udmrzn · 2026-11-22