JevBench 基准发布:Jev 1.13 险守榜首,开源紧咬
9 月 19 日,airesearch12 发布 JevBench v1,一个针对「Jev 类」类型化决策模型的公开基准:模型接收应用状态与受限评分规则,输出带概率的类型化答案,无开放式散文输出。首测覆盖 242 项决策、六个任务族、九个模型,沿五个维度打分(如 smart 即准确率等),准确率最高达 97.1%。截至 9 月 20 日的 v1.2 排行榜上,Jev 1.13 以 75.3 分继续居首,但开源 4B 模型 SemIf 得 74.6 分紧咬,领先优势已很小。
已确认
- 9 月 20 日,rohanpaulai 介绍 JevBench 综合评分纳入智能、校准、速度与成本四项,理由是部署时这些维度同样关键;并指出其配套 TypeSafe 于 9 月 15 日发布的 Jev:输入应用状态与固定选项,返回带概率的类型化答案。
- JevBench v1.2 排行榜更新:Jev 1.13 以 75.3 分居首,开源 4B 模型 SemIf 得 74.6 分,另一开源模型 open-alternative-jev 得 69.8 分。
- v1.2 榜单已上线 Benchmark Heaven(airesearch12、rohanpaulai 均确认),专门为「Jev-class」高性价比、面向决策/任务执行的模型排名,支持按综合分、编码、智能体工具使用、科学、长上下文等维度排序,并可切换输入/输出价格权重;rohanpaulai 补充站点还提供托管地区(EU/US/中国)、数据保密政策等筛选条件。airesearch12 另指出该站点是模型评测聚合平台,并发布了 Jev 与 GLiNER2 的详细对比实测。
- 起因上,airesearch12 于 9 月 19 日提到有开发者宣布正在构建首个「Jev benchmark」,用于系统对比官方 Jev 与近期涌现的开源仿制项目,并作为 benchmarkheaven 项目的一部分——该工作随后以 JevBench 落地。
尚未确认
- airesearch12 转发 m3 时仅称 Jev 仍居榜首但领先优势已很小,未给出具体分数,与 v1.2 数据吻合但属早期不完整信息。
为什么重要
- JevBench 把「有界软件决策」类模型输出从开放式文本评测中剥离,同时量化智能、校准、速度与成本,为部署决策提供更贴近实际的参考;开源模型与官方 Jev 分差不足 1 分,显示该赛道竞争高度胶着,开源替代方案正快速逼近。
2026-09-19 ~ 2026-09-20 · 8 条相关
- 第 1 集:TypeSafe 结束隐身发布决策模型 Jev 与新训练法 RLCD(2026-09-16,86 条)
- 第 2 集:TypeSafe AI 发布专用评估模型 Jev,实测速度与成本优势显著(2026-09-16,8 条)
- 第 3 集:Vercel fx 安全审查将换用 Jev 快 18 倍(2026-09-17,3 条)
- 第 4 集:OpenJev 开源:单张 3090 本地复刻 Jev 服务(2026-09-17,3 条)
- 第 5 集:TypeSafe AI 发布决策模型 Jev:不生成文本、只输出结构化决策(2026-09-17,73 条)
- 第 6 集:神秘判定模型 Jev 引发热议,多轮实测结果出炉(2026-09-18,6 条)
- 第 7 集:TypeSafe AI 的 Jev 模型与 RLCD 训练法引热议(2026-09-18,3 条)
- 第 8 集:LangChain 发文教用 Jev 构建 Agent Harness(2026-09-18,7 条)
- 第 9 集:Jev 生态一夜爆发,GitHub 热门项目激增(2026-09-18,4 条)
- 第 10 集:新模型 Jev 走红:只做决策不对话,快又便宜(2026-09-18,33 条)
- 第 11 集:TypeSafe Jev 决策模型爆红:突破、质疑与复制之争(2026-09-18,7 条)
- 第 12 集:Jev 补上通用分类器空缺,成本低约百倍(2026-09-19,2 条)
- 第 13 集:开发者看好 Jev 作 LLM 路由器而非主力模型(2026-09-19,2 条)
- 第 14 集:开发者实测:Jev 成批量打标签任务性价比之王(2026-09-19,2 条)
- 第 15 集:JevBench 基准发布:Jev 1.13 险守榜首,开源紧咬(2026-09-19,8 条)
- 第 16 集:决策模型 Jev 爆火:创 Vercel 网关最快采用纪录(2026-09-19,14 条)
- 第 17 集:omarsar0 实测 Jev:给 Agent 装上低成本验证器(2026-09-19,10 条)
- 第 18 集:开发者实测16模型校准:Jev又快又诚实但准确率仅第10(2026-09-19,8 条)
- 第 19 集:开发者实测 Jev 分类模型:50 单全对,成本极低(2026-09-19,4 条)
一手来源
- JevBench 首测:242 项决策对比九个模型,准确率最高 97.1% — airesearch12 ·
- 第三方榜单 JevBench v1.2 上线,聚焦性价比导向的决策模型排名 — airesearch12 ·
- JevBench v1.2 上线 Benchmark Heaven:Jev 类决策模型排行 — rohanpaul_ai ·
- 开发者着手构建首个 Jev 开源复刻项目对比基准 — airesearch12 · 2026-09-19
- 【源头】JevBench 首测:242 项决策对比九个模型,准确率最高 97.1% — airesearch12 · 2026-09-19
- JevBench v1.2 发布:Jev 1.13 以 75.3 分险守榜首 — airesearch12 · 2026-09-19
- 【源头】第三方榜单 JevBench v1.2 上线,聚焦性价比导向的决策模型排名 — airesearch12 · 2026-09-20
- JevBench 榜单出炉:Jev 仍居榜首但优势缩小 — airesearch12 · 2026-09-20
- 新基准 JevBench:综合智能、校准、速度与成本评模型 — rohanpaul_ai · 2026-09-20
- 【源头】JevBench v1.2 上线 Benchmark Heaven:Jev 类决策模型排行 — rohanpaul_ai · 2026-09-20
- Benchmark Heaven 上线 Jev 级模型评测,Jev 对比 GLiNER2 实测出炉 — airesearch12 · 2026-09-20