NeurIPS 论文：LLM 技术报告悄然删除校准曲线，作者呼吁回归
burny_tech · x · 2026-11-10
一篇被 NeurIPS 2026 接收的立场论文指出，自 GPT-4 之后，各大 LLM 技术报告几乎都不再公布校准曲线。作者认为这是行业性的错误，并主张从训练、评估到部署全流程重新重视校准（calibration）。
- 配图引用 GPT-4 技术报告：预训练模型在 MMLU 子集上校准良好（ECE 约 0.007），但 RLHF（PPO）后训练显著破坏校准（ECE 升至 0.074），模型自信度与实际正确率严重偏离。
- 论文核心论点：随着模型被部署到高风险决策场景，置信度是否可信与能力本身同样重要，不应从技术报告中消失。
「模型」频道最新
- Claude Fable 5.2 登顶科研 Agent 榜:Terminal-Bench-Science 74.6% — burny_tech · 2026-11-10
- 网传 Fable 5.2 编程测试得 49.1% 居首，成本约为 Opus 一半 — FinanceYF5 · 2026-11-10
- 网传 Claude 一段话生成完整语音助手，硬件真做出来了 — FinanceYF5 · 2026-11-10
- 网传 Claude 发布 Fable 5.2 与 Mythos 5.2，十大 Agent 案例曝光 — FinanceYF5 · 2026-11-10
- Claude 5.2 蛋白质结构域识别达 91.8%,远超前代与专用模型 — chaitjo · 2026-11-10
- 用户吐槽 Fable 5.2 太防御，模型坦承「我在讨好你」 — Seltaa_ · 2026-11-10