Jev 实测：唯一亚秒级且会坦承不确定的校准门控模型
AlexKim · x · 2026-09-19
TypeSafe 发布的 Jev 返回带校准概率的结构化判断而非文本：Choice 从选项中选一、Score 按序级评分、Noul 输出 yes/no 条件成立的概率，无 prose、无推理轨迹。独立问题共用同一 state 在一次请求中并行执行，十二项检查只需一次调用、state 只计费一次。
作者用 150 段文本（来自 35 篇博客的两个版本，判断哪段出自改写版）对 16 个模型跑了 2400 次调用测 ECE（期望校准误差）：
- 亚秒级「便宜门控」档位中，Jev 校准最好，且是唯一可靠承认不确定性的模型
- 全部 16 个模型中只有 4 个会承认不确定，Jev 是其中唯一亚秒级
- Jev 响应 455ms，全场最快；第二快承认不确定的是 Sonnet 5（慢 3.7 倍）
- 作者结论：除非代码要基于这个数值分支，否则 Jev 和 Haiku 没区别；它的定位是「可以随处跑的低成本校准门控」
作者还开源了一个 Claude Code hook 用于运行该校准检查。
所属事件:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(8 条相关)→
「编程与Agent」频道最新
- 马斯克证实 Grok Bot 成本难以为继，Hermes 一键迁移抢用户 — Teknium · 2026-11-04
- 开源 agent Cindy 发布：跨设备共享任务、文件与模型 — yangyi · 2026-11-04
- 网友用多 Agent 循环工作流筛出 1132 个 B 站神级视频建站 — huangyun_122 · 2026-11-04
- 平面设计师用 Claude Code 两个月做出 NASA 数据驱动的 3D 太阳系 — Shevei1342 · 2026-11-04
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04
- Replit 运营负责人自建 AI 应用：自动分级客服工单并路由处理流程 — amasad · 2026-11-04