开发者实测16模型校准：Jev又快又诚实但准确率仅第10

开发者 AlexKim 为判断 TypeSafe 的 Jev 是否值得加入自己的技术栈，对 16 个模型做了系统实测，重点比较 Jev 与 Haiku，并意外发现「校准」这一项几乎没打算测的指标反而最有区分度。

已确认

• Jev 准确率在 16 个模型中只排第 10；作者经历多轮结论修正：AI 生成的初稿结论相互矛盾，一说「Jev 置信度可用、Haiku 不行」，一说「Haiku 更准」，最终在正确统计和加测任务后才确定 Jev 与 Haiku 在关键校准指标上打平。
• 模糊区间（0.35–0.65）作答率方面：Sonnet 5 达 41.3%，Fable 5.1 为 36.7%，Jev 为 34.7%，Opus 5 为 23.3%，前四名之后断崖式下跌；开源模型几乎从不落在模糊区间，即几乎从不说「不确定」。
• Jev 是四个「诚实承认不确定」的模型中唯一亚秒级响应的：455 毫秒，为 16 个模型中最快；次快的诚实模型 Sonnet 5 需要 3.7 倍时间。作者认为这让 Jev 可承担全量请求的门控角色。
• 价格和发布时间均无法预测校准表现：最贵的 kimi-k3 在准确率和校准上双双垫底；deepseek-v4-flash 以 0.003 美元跑完全部测试，准确率反而超过 Jev。
• Jev 返回带校准概率的结构化判断而非文本：Choice 从选项中选一、Score 按序级评分、Noul 输出 yes/no 条件成立的概率，无 prose、无推理轨迹；独立问题共用同一 state 可在一次请求中处理。

为什么重要

• 作者强调：价格和「身价」都不决定模型是否会承认不确定，选型时应看实测校准数据而非价格标签。
• 一个任务构不成基准：作者以自身经历说明单任务结论（如「Haiku 更准」）会随加测任务而反转，评测结论必须在数据面前反复存活。
• 「快 + 诚实」的组合让 Jev 占据独特生态位：可作为低成本、低延迟的全量请求门控，与其他模型分工协作。

2026-09-19 ~ 2026-09-19 · 8 条相关

事件全程(共 19 集)→

• 第 1 集:TypeSafe 结束隐身发布决策模型 Jev 与新训练法 RLCD(2026-09-16,86 条)
• 第 2 集:TypeSafe AI 发布专用评估模型 Jev，实测速度与成本优势显著(2026-09-16,8 条)
• 第 3 集:Vercel fx 安全审查将换用 Jev 快 18 倍(2026-09-17,3 条)
• 第 4 集:OpenJev 开源：单张 3090 本地复刻 Jev 服务(2026-09-17,3 条)
• 第 5 集:TypeSafe AI 发布决策模型 Jev：不生成文本、只输出结构化决策(2026-09-17,73 条)
• 第 6 集:神秘判定模型 Jev 引发热议，多轮实测结果出炉(2026-09-18,6 条)
• 第 7 集:TypeSafe AI 的 Jev 模型与 RLCD 训练法引热议(2026-09-18,3 条)
• 第 8 集:LangChain 发文教用 Jev 构建 Agent Harness(2026-09-18,7 条)
• 第 9 集:Jev 生态一夜爆发,GitHub 热门项目激增(2026-09-18,4 条)
• 第 10 集:新模型 Jev 走红：只做决策不对话，快又便宜(2026-09-18,33 条)
• 第 11 集:TypeSafe Jev 决策模型爆红：突破、质疑与复制之争(2026-09-18,7 条)
• 第 12 集:Jev 补上通用分类器空缺，成本低约百倍(2026-09-19,2 条)
• 第 13 集:开发者看好 Jev 作 LLM 路由器而非主力模型(2026-09-19,2 条)
• 第 14 集:开发者实测：Jev 成批量打标签任务性价比之王(2026-09-19,2 条)
• 第 15 集:JevBench 基准发布：Jev 1.13 险守榜首，开源紧咬(2026-09-19,8 条)
• 第 16 集:决策模型 Jev 爆火：创 Vercel 网关最快采用纪录(2026-09-19,14 条)
• 第 17 集:omarsar0 实测 Jev：给 Agent 装上低成本验证器(2026-09-19,10 条)
• 第 18 集:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(2026-09-19,8 条)
• 第 19 集:开发者实测 Jev 分类模型：50 单全对，成本极低(2026-09-19,4 条)

• 实测16个模型：TypeSafe Jev 准确率仅排第10 — AlexKim · 2026-09-19
• 作者实测16个模型发现：关键校准指标上Jev与Haiku打平 — AlexKim · 2026-09-19
• 16模型评测另发现：Sonnet 5 模糊区间作答率高达41.3% — AlexKim · 2026-09-19
• 【源头】为验证一个模型实测 16 家：一个任务构不成基准 — AlexKim · 2026-09-19
• 16 模型校准实测：开源模型几乎从不说「不确定」 — AlexKim · 2026-09-19
• 校准实测续：最贵模型准确率和校准双双垫底 — AlexKim · 2026-09-19
• 【源头】Jev：唯一又快又「诚实」的模型，455ms 可当全量门控 — AlexKim · 2026-09-19
• 【源头】Jev 实测：唯一亚秒级且会坦承不确定的校准门控模型 — AlexKim · 2026-09-19