掷骰子测出模型软肋:Jev 预测 83% 概率却只有 19% 准确率
kh-ai · reddit · 2026-09-25
作者对 Jev 做了校准测试,用真实概率已知的输入检验其不确定性判断:
- 公平骰子 400 次试验:Choice 模式每次都选 1 点,平均报告 82.9% 概率,实际准确率仅 19%
- 公平硬币:报告 92% 置信,实际对 52%
- Noul 在 2-4 选项时接近真实,但 8-20 选项时报告 15-17%(真实值 5-12.5%)
- 一份写着 30% 短缺风险的预测文档,Choice 判断为 5%,Noul 判断为 27%
关键洞察:MMLU 类考试考的是「模型知不知道问题难」,骰子测试考的是「模型知不知道结果从输入上就不可知」——Jev 明显弱于后者,尤其在 Choice 概率上。附完整 write-up 与代码数据。
所属事件:掷骰子实验暴露 LLM 概率校准缺陷(2 条相关)→
「模型」频道最新
- 爆料：Google 新模型阵容曝光，含 Flash 迭代与视频模型 — koltregaskes · 2026-11-11
- 同一段提示词实测：Fable 5.2 花时 3 倍费用 2 倍，换来导演级表达 — iamfakhrealam · 2026-11-11
- Krafton 开源 1.5B 端侧模型 Raon-1 nano,多项基准超同尺寸对手 — DimitrisPapail · 2026-11-11
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11
- MiniMax H3 开源百天:衍生模型 1472 个,下载破 1.48 亿次 — linoy_tsaban · 2026-11-11
- 美团 LongCat-2.5 登上 Hugging Face 趋势榜,MoE 多模态架构 — meituan-longcat · 2026-11-11