不改一个权重,softmax 温度就能把 AI 预测置信度拉到 99%
techNmak · x · 2026-11-11
作者讲解 softmax 温度参数为何能让模型置信度与准确性彻底脱钩：对同样的 logits (2,1,0)，T=2 时最高类概率为 50.65%，T=0.2 时变成 99.33%——模型没学到任何新东西，输入、权重、预测类别都不变。要点：
- 温度缩放不改变 logit 排序，top-1 准确率保持一致，所以「报告的置信度」≠「实际正确率」
- 2017 年 ICML 论文提出在留出数据上拟合温度缩放，可显著改善概率校准，让概率真实反映正确率而非显得更自信
- 同样的数学出现在 LLM 采样中：低温集中于高分 token，高温给替代 token 更多机会，可能生成不同回答但参数不变
结论：调整概率分布不会给模型增加知识，99% 的 softmax 概率只是特定温度下的偏好强度，是否可靠必须靠评估验证。
「模型」频道最新
- 鹈鹕骑车 SVG 横评：Fable 5.2 花25分钟25美元，Gemini 4 Hydrogen 5分钟搞定 — FinanceYF5 · 2026-11-11
- 同一任务四种 AI 工作流横评：Fable 2分钟6美元完胜 GPT-6 的23分钟93美元 — FinanceYF5 · 2026-11-11
- 无提示词无成本的模型对比更像效果展示而非排名 — FinanceYF5 · 2026-11-11
- Vals Index 一周三发全在帕累托前沿，Meta Ember 仅花 0.84% 成本拿到 85% 性能 — AnkaReuel · 2026-11-11
- Fable 指挥本地 Qwen 执行：立体书成本降 80% 提速一半 — FinanceYF5 · 2026-11-11
- Fable 5.2 对比 Opus、Gemini、GPT：10 组实测无碾压 — FinanceYF5 · 2026-11-11