86 道物理题各跑 100 遍：模型校准实测 87.6% 准确率
Ok-Challenge-7810 · reddit · 2026-09-22
一位开发者把 GPQA-diamond 的 86 道物理题每道向模型 Jev 重复提问 100 次，绘制置信度与实际准确率的校准曲线。结果显示：实际准确率 87.6%,而模型平均自报置信度约 72%——模型偏保守，倾向于低估自己。稳定性方面，同一问题连续问 100 次，给出的概率几乎完全一致，方差极小。作者公开了图表与代码 notebook。
「模型」频道最新
- DeepMind内部模型攻克百余个数学领域长期悬而未决的难题 — S_OhEigeartaigh · 2026-09-22
- 重磅RL报告发布：附9B蒸馏模型，7000个RL环境将开源 — tokenbender · 2026-09-22
- RL训练稳态秘诀:GRPO改造四板斧拆解 — tokenbender · 2026-09-22
- ChatGPT 研究员推出 Jev:比 LLM 快 200 倍、便宜 400 倍做决策 — bibryam · 2026-09-22
- Anthropic 披露 APT29 借 AI 发动网络间谍战的时间线 — jcran · 2026-09-22
- 开发者质疑 Prime Intellect 直播 RL 训练的真实性 — giffmana · 2026-09-22