16 模型校准实测：开源模型几乎从不说「不确定」
AlexKim · x · 2026-09-19
作者对 16 个模型做校准测试，统计各模型把答案放在 0.35–0.65 模糊区间的比例。前列四名远超其余：Sonnet 5 达 41.3%，Fable 5.1 为 36.7%，Jev 为 34.7%，Opus 5 为 23.3%，随后断崖式下跌——没有模型超过 7.3%。GPT-5.5 是 GPT-5 系最好的 11.3%，但仍低于头部；没有任何开源权重模型超过它，kimi-k2.5 和 deepseek-v4-pro 仅 0.7%。这是 150 行数据中的一行，揭示模型「承认不确定」的能力差异巨大。
所属事件:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(8 条相关)→
「模型」频道最新
- 腾讯混元预告即将开放接入 LMArena 评测 — TencentHunyuan · 2026-11-04
- 圈内人预测 Astra 6.2 明日发布，调侃今天先多用点额度 — bdsqlsz · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- GLM-5.3 去审查版 3 分 41 秒完成红队攻击,原版直接拒绝 — bratton · 2026-11-04
- 腾讯混元发布 Hy4,开源权重即将放出 — heatOverflower · 2026-11-04
- OpenAI 下一代模型成本惊人，网友调侃需要 800B 激活参数 — teortaxesTex · 2026-11-04