AI裁判高估新模型，漏判隐藏质量缺陷
rohanpaul_ai · x · 2026-07-06
分析指出，用AI作裁判(LLM-as-judge)能方向性追踪模型进步，但会漏掉人类评估者能发现的隐藏质量问题。
自动裁判在早期模型上与人类一致率约3%，却严重高估新模型：GPT-5.5的人类通过率从6.25%被高估到17.9%，Opus 4.8从8.33%被高估到18.8%。说明自动化评测对新模型可能系统性失真。
「模型」频道最新
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩，DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11
- 网友吐槽 GPT-5.6 文笔好读但缺乏记忆点 — BasedRaddka · 2026-09-11
- Opus 以"安全"为由拒碰蛋白质生成代码,开发者吐槽误伤 — josephdviviano · 2026-09-11
- 网友称 DeepSeek 4.1 Flash 是语言模型历史拐点(未证实) — himanshustwts · 2026-09-11
- Terminal Bench v4 榜单:GLM-5.3 以 41.9% 一骑绝尘 — Ok_Warning2146 · 2026-09-11