官方与开源基准排名严重打架,网友呼吁做复现 jev 校准能力的开放基准
lahwran_ · reddit · 2026-10-17
Reddit 用户发帖指出一个反常现象:jev 的官方基准(强调校准 calibration 等能力)给出的模型排名,与开源社区的 jev decision index 等基准严重不一致——某模型在官方基准排第二,在非官方排名却连第一页都进不去。这既可能是开源基准质量问题,也可能是官方基准本身有问题。
作者想要的开放基准应具备:与官方基准强相关的分数、按技能拆分(图像解析、视频解析、数学、代码续写、游戏对弈等)、以及对同一信息用不同输入格式测试以排除格式偏好干扰。现有唯一替代 jevbench 结果太少且只测游戏强度。配图显示官方 Overall calibration error 排名:jev 1.14.0 仅 1.6 居首,kev-4b 10.3、clef 11.2、pplx-decider-v1.1-27b 高达 35.0 垫底,图上还标注「Warning: AI benchmarks, Please don't trust them」。作者表示若没人做,可能自己动手但懒得公开发布。
「模型」频道最新
- 用户怒吼"别抠细节了":Agent 深陷兔子洞的名场面截图 — teortaxesTex · 2026-10-17
- vLLM 三周把 DeepSeek-V4.1-Flash 吞吐拉高 5.3 倍，每美元 13 亿 token — woosuk_k · 2026-10-17
- 蒸馏被高估了？观察人士称前沿模型推理提升主要靠内部 RL — teortaxesTex · 2026-10-17
- 用户吐槽 Meta Muse AI:查个 Marketplace 图竟要登录虚拟浏览器 — robblatt · 2026-10-17
- Ultra 用户吐槽 Gemini 4 Argon 周额度太低，两天就用光 — DeryaTR_ · 2026-10-17
- Codex 升级 DSH 并实测 DeepSeek-V4.1-Flash 1017 — cedric_chee · 2026-10-17