Jev 1.14.0 校准翻车:难题上过度自信 22 个百分点
shaun117 · reddit · 2026-10-15
Reddit 转载的评测显示,Jev 1.14.0 在 500 道二元判断题上整体校准良好(ECE 仅 0.023,接近完美校准模型的随机波动范围),但按难度拆分后问题明显:
- 简单题:信心不足,平均置信度比准确率低约 7 个百分点
- 中等题:基本校准
- 难题:严重过度自信,偏差约 +22 个百分点,该分片 ECE 达 0.222,远超约 0.12 的校准阈值
配图还对比了 Jev、subq-snap-preview 和 gpt-6-luna 在三档难度上的信心-准确率差值,gpt-6-luna 在难题上的过度自信更明显。结论:整体校准指标会掩盖模型在最难问题上"不懂装懂"的系统性倾向。
所属事件:Jev 1.14.0整体校准良好但难题过度自信22点(2 条相关)→
「模型」频道最新
- 用户察觉 Claude Desktop 疑似悄悄升级系统提示词，Opus 5.5 像 5.8 — bcherny · 2026-10-15
- sierra 吐槽 tokenmaxxing：该比单 token 有效吞吐和真实有用性了 — sierracatalina · 2026-10-15
- 开发者称通过 OpenRouter 用 Gemini 全系遭封禁，403 违反服务条款 — voooooogel · 2026-10-15
- Sahil Lavingia：Opus 5.5 更强但我仍留在 ChatGPT 桌面端 — beffjezos · 2026-10-15
- MiniMax Code 改版上线，M3.1-Flash 实测会找真 bug 不糊弄 — cneuralnetwork · 2026-10-15
- GPT-5.6 Sol 思考链疯狂自我打气，是提分利器还是废话 — emjotde · 2026-10-15