LLM置信度估计方法综述
Disneyskidney · reddit · 2026-07-18
这篇长帖系统梳理了 **LLM 不确定性/置信度估计** 的主要方法，并比较黑盒与白盒两大路线。 ### 主要动机 - LLM 团队越来越依赖“模型判定器”做复杂决策，而**置信度分数**能帮助主动学习、提示词优化和安全分类器更稳健地工作。 - 但“不确定性量化”仍处在早期阶段，目前没有公认的最佳方案。 ### 文中讨论的几类方法 - **文本型方法**： - 让模型直接报“我有多确定”，但实证表明分数常常集中在高位，区分度差。 - 用语言里的不确定词（如 maybe、possibly）来估计置信度，但可靠性有限。 - 用回答长度/啰嗦程度推断不确定性，在推理模型上相对更有效。 - **token 型方法**： - 直接看答案 token 的概率分布，适合自动化但多 token 场景会更麻烦。 - 用“P(True)”一类方式，把模型自己的回答再喂回去问对错，以缓解多 token 问题。 ### 核心观点 - **白盒方法**需要模型权重，通常只能用于开源模型； - **黑盒方法**只看输出 token 或 logprob，适用于闭源模型，实际覆盖面更广。 - 作者表示自己对前 8 种黑盒方法和 1 种白盒方法做了对比，目标是回答：**哪种置信度估计最好**。