抛硬币测试暴露 LLM 校准缺陷:模型学不会「不知道」

airesearch12 · x · 2026-09-24

一条关于 LLM 概率校准的技术讨论：作者 daamitt 指出大多数人还没理解 Jev 问题的核心——校准本身就是产品。常见 demo 里错误决策没有代价，所以校准缺陷被掩盖。

他用抛硬币举例：让模型回答「正面还是反面？」它会给出类似 heads(70)/tails(30) 的概率分布；如果提示「上次是反面」，它又会给出 tails(80)/heads(20)。但正确答案无论如何都应是 50/50——LLM 会根据上下文线索错误地调整概率，而不是基于真实状态。作者追问：能否训练模型忽略抛硬币次数、只依据结果给出 50/50？目前做不到。这解释了为何许多 agent demo 在低风险场景好看，一到有真实代价的决策就失灵。