作者实测16个模型发现：关键校准指标上Jev与Haiku打平
AlexKim · x · 2026-09-19
一位开发者分享了自己对 16 个模型(重点是 TypeSafe 的 Jev 与 Haiku)的系统评测过程：
- AI 生成的初稿结论相互矛盾：一说"Jev 的置信度可用、Haiku 不行"，一说"Haiku 更准"。
- 作者于是正确计算了期望校准误差(ECE)：Jev 0.121，Haiku 0.122——在产品核心指标上几乎完全打平。
- 多任务测试显示：Haiku 在商业类目上以 83.2 对 79.9 领先，Jev 在 commit 类型上以 50.0 对 42.0 领先，prose 任务 66.0 完全持平。
- 核心教训：单任务结果不构成 benchmark，AI 写的评测初稿结论不可直接采信。
所属事件:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(8 条相关)→
「模型」频道最新
- 马斯克证实 Grok Bot 成本难以为继，Hermes 一键迁移抢用户 — Teknium · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- 同一事件转发：五档 ChatGPT 家庭套餐价格再次被扒出 — heyshrutimishra · 2026-11-04
- KOL 参访阶跃星辰上海办公室，暗示新模型即将发布 — teortaxesTex · 2026-11-04
- 爆料:Anthropic Fable 5.5 难产,正赌 OpenAI Astra 6.2 不敌自己 — haider1 · 2026-11-04
- 字节开源 Axion 1.0-35B 智能体基础模型，仅三阶段训练即比肩商用模型 — pmttyji · 2026-11-04