用 Jev 当 LLM 评委翻车：几乎全打高分且与人工评分相悖
amplifiedamp · x · 2026-09-18
开发者在 OntBench（评测各 LLM 制作本体映射能力的基准）中尝试用 Jev 作为打分器，结果发现完全不可用：它给几乎所有输出都打很高分，既不符合人工评分，也和 Codex 的打分结果不一致（所有打分器均盲测）。\n\n作者贴出了完整的打分 prompt（包括 evidence 边界说明和五档评分标准），向社区求问是否 prompt 写法有问题。
所属事件:Jev 当 LLM 评委翻车：几乎全打高分且与人工评分相悖(3 条相关)→
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02