Jev 1.14.0 二元问题校准达标,难题上却过度自信 22 个百分点
shaun117 · reddit · 2026-10-15
对 Jev 1.14.0 在 500 道二元问题上的校准评测：整体 ECE 仅 0.023，接近完美校准；但按难度拆分后暴露问题——简单题下信心偏低约 7 个百分点，中等题基本准确，难题上强烈过度自信约 22 个百分点，该切片 ECE 达 0.222（阈值约 0.12）。结论：模型在难题上「嘴硬」，整体校准指标掩盖了难度分层下的失准。
所属事件:Jev 1.14.0整体校准良好但难题过度自信22点(2 条相关)→
「模型」频道最新
- Paper Instruments 发布 Ultramarine 1 Flash:用 RL 训练不可验证知识工作 — lmoroney · 2026-10-15
- OpenAI Codex 负责人预告「重置」回归：Day 10 将在两小时内上线 — BMarinov · 2026-10-15
- SaaSletter：企业 AI 风险指标两年涨 9.3 倍，或预示 Anthropic 营收走势 — thedealdirector · 2026-10-15
- 网友爆料：Anthropic 疑似训练模型打游戏，Opus 5.5 游戏表现超 Astra — imjustnewatai · 2026-10-15
- Maya-2 开源发布:印度语系语音模型登顶 Hindi TTS 榜单 — CurieuxExplorer · 2026-10-15
- 模型或能纯靠文本指纹识别 AI 生成内容，评测沙箱面临被识破风险 — scaling01 · 2026-10-15