AI裁判高估新模型，漏判隐藏质量缺陷
rohanpaul_ai · x · 2026-07-06
分析指出，用AI作裁判(LLM-as-judge)能方向性追踪模型进步，但会漏掉人类评估者能发现的隐藏质量问题。
自动裁判在早期模型上与人类一致率约3%，却严重高估新模型：GPT-5.5的人类通过率从6.25%被高估到17.9%，Opus 4.8从8.33%被高估到18.8%。说明自动化评测对新模型可能系统性失真。
「模型」频道最新
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- 全靠 LLM 写代码的 Rust 有序映射 bbtree:单线程快 5 倍、96 线程快 12 倍 — lmoroney · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27