Jev 当 LLM 评分器翻车:几乎全给高分,与人工和 Codex 评分相悖
amplifiedamp · x · 2026-09-18
作者在 OntBench(测试各 LLM 做本体映射能力的 benchmark)里尝试用 Jev 作为自动评分器,结果完全不可用:它对几乎所有输出都打高分,既与作者的人工评分不符,也与 Codex 的评分相矛盾。
作者贴出了完整的评分 prompt(五档评分标准,从"多处重大错误"到"有明确边界支持的结论"),想请社区指出问题所在。这是 LLM-as-judge 的典型失败案例:评分器缺乏区分度,倾向于给正向评价。
所属事件:Jev 当 LLM 评委翻车：几乎全打高分且与人工评分相悖(3 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02