决策模型 Jev 深度实测:准确与校准是两回事,周一就能照做
colinmcnamara · x · 2026-09-21
Colin McNamara 发布长文《A Model That Refuses to Talk》,深度拆解并实测 TypeSafe 的决策模型 Jev。要点:
- 核心观点:业务代码需要的是「决策」,却在向聊天模型要一句散文再解析回结构;structured output 只修形状,不修错配,而 JSON 里的 confidence 只是生成的估计,不是校准证据。
- 背景:Jev 被定义为「第一个 System One 模型」,9 月 15 日开放早期访问,DCVC 领投 4000 万美元种子轮。
- 实测结果:情感 94.0%、新闻主题 88.2%(零样本零调参);单题 143ms;ECE 约 0.09,情感上欠自信、新闻顶部区间过度自信;自有 GPU 上的开源 27B 模型校准水平相当。
- 可行动清单:在自己的标注数据上测校准;按错误成本设阈值;锁定模型版本;准确率与校准是两个独立属性,两者都要检查。
所属事件:决策模型上线三步法:测校准、按代价设阈值、锁版本(2 条相关)→
「模型」频道最新
- Google 发布 Gemini Decision 1：不生成文本、单次评分上千道题 — shensi · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- 团队复现全部 9 个「权重空间编程」实验，结论有涨有跌 — burny_tech · 2026-11-12
- 开源 Iris-Z 首次让图像生成与深度估计共用一个骨干，9B/32B 全开放 — victormustar · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12