Jev 发布自研智能基准：自家模型 60 分登顶并自嘲「别信基准」
_lewtun · x · 2026-10-15
AI 公司 TypeSafe/Jev 公布官方「整体智能」基准：jev 1.14.0 得 60.0、jev 1.13.0 得 58.9 领跑，开源模型 kev-27b 46.7、ppplx-decider-v1.1-27b 46.0、clef 44.3、clef-flash 38.8、kev-4b 36.9、d1-3b 33.8。图表自带「Warning: AI benchmarks, please don't trust them」水印。
要点：
- 原推称不信任公开基准，但需度量智能，故尝试公开内部智能度量，并坦承结果很可能偏向自家模型，建议只关注开源模型的相对排名。
- 未纳入托管模型，理由是数据用途顾虑与保护验证集安全。
- multimodalart 评价：欣赏其不公开评测集的做法与诚实免责声明，将评测 jev 1.14 与 vision，并开发更稳健、面向真实使用的 Decision Index v0.4。
所属事件:TypeSafe AI 恶搞跑榜：自家模型登顶并警告勿信 AI 基准(2 条相关)→
「模型」频道最新
- Applied Compute 推出 Spork：国际象棋解题率较 GRPO 提升 100% — ypatil125 · 2026-10-15
- Claude 与 ChatGPT 编码工具对比：额度与限制成用户纠结点 — OkraSuper9329 · 2026-10-15
- Gemini 4 Argon 物理世界理解登顶，长视频得分 59.1% 碾压对手 — 141_1337 · 2026-10-15
- 模型在思维链里打招呼监视者,安全研究者列四大危险信号 — dfrsrchtwts · 2026-10-15
- TypeSafe AI 发布 Jev 1.14.0,实验性图像功能藏进 Danger Zone — michellechen · 2026-10-15
- ADL 称与 OpenAI、Anthropic 等实验室合作压制反犹内容,Claude 翻译遭安全过滤器拦截 — amasad · 2026-10-15