LLMs Are Already Confidence-Aware Zero-Shot Classifiers
Owen Cook, Xingyi Song
cs.CL, cs.AI, cs.LG
2026-11-19
11 个开源 LLM 实测:零样本分类读 token logit 拿置信度,AUROC 0.77 远超口述自评的 0.66,新打分法再省 88-96% 解码步。
零样本拿 LLM 当分类器已经是常规操作:标注数据、意图识别、内容审核都这么干。标签本身只值一半,另一半是「这个标签有多可信」。模型答对时说六成把握、答错时说九成五,这种分类器没法接进低置信度转人工的流程。
从 LLM 里取置信度的路子不少:直接问它「你有几成把握」(verbalised confidence,口述置信度)、采样多次看答案稳不稳、答完再追问一句「你对吗」(P(True))、或者读 token 概率给每个候选标签打分。这些方法很少被放进同一条件下比较,已有研究大多盯着问答任务,那里的不确定性来自知识回忆,而分类的不确定性更多来自任务本身的歧义。谢菲尔德大学的两位作者补上了这个空白,顺手提出一个省算力的打分方式。
11 个开源模型(1B-32B:Gemma 4、Llama 3.2、Qwen 2.5/3/3.5 全家),5 个数据集(Banking77 77 类、CLINC150 151 类、20NG、SST-5、FEVER 3 类),全部零样本、无思维链、贪心解码。数据集特意挑了标签有共享解码路径的:SST-5 里「very positive」和「very negative」共用「very」,这正是多 token 标签打分最容易出事的地方。
黑盒侧:让模型以 JSON 格式先答后评或先评后答,置信度用百分比或 Likert 五档;采样法跑 10 次、温度 0.5,多数票比例当置信度;P(True) 在答完的样本上追问真假,取首 token 概率。
白盒侧:把全部标签放进一棵 trie(前缀树),解码时每步先对全词表 softmax 再遮住非法 token,保证输出落在标签集内。拿到每个标签各 token 的对数概率后,比较四种聚合规则:总对数似然、按 token 数长度归一、Google 机器翻译那套 α=0.6 的长度惩罚、以及逐步在兄弟节点间 softmax 再连乘的概率树。
新东西是 decision-only 打分:trie 里大量 token 是别无选择的强制路径,它们的似然只会按标签长度堆噪声。只对有兄弟节点、即标签真正分岔的位置打分和归一,强制路径全部跳过。省算力的同时,也少引入了长度归一的偏差。
置信度方法怎么选,准确率几乎不动(各方法均值都在 0.72 上下,聚合表还剔除了 Llama 3.2 两个最小模型),差距全在置信度质量上:
| 方法 | AUROC(判别) | ECE(校准) | 说明 |
| logit 打分(各约束变体) | 0.74-0.77 | 0.185-0.223 | 判别力全面领先 |
| 口述置信度(Likert) | 0.606-0.636 | 0.150-0.167 | 校准最好,判别偏弱 |
| 采样(10 次,t=0.5) | 0.569 | 0.254 | 两头都不占 |
| P(True) | 0.741 | 0.227 | 保住自由生成,判别也在线 |
(AUROC 衡量置信度区分对错的能力,0.5 等于瞎猜;ECE 是校准误差,衡量说八成把握时实际正确率离 80% 多远。)
decision-only 在三个最大标签集上砍掉 88-96% 的解码步(Banking77 96%、CLINC150 92%、20NG 88%),各指标与全标签打分持平。把标签换成单 token 代号(A/B/C)能保住判别力,但平均掉 3-6 个准确率点。
对标商业分类模型 Jev 1.13.0(TypeSafe AI 出的、直接输出全标签分布的分类器):Gemma 4 31B 约束 JSON + decision-only 拿到 0.802 准确率、0.775 AUROC,准确率压过 Jev 的 0.788,AUROC 略输其 0.801;Qwen 3.5 9B 长度归一 + decision-only 做到 0.793 AUROC、0.053 ECE,这项 ECE 比 Jev 的 0.086 还低。原始校准整体仍是 Jev 占优(其 Brier 0.134 全场最佳)。
另一个实用细节:模型越小格式错误越多,Gemma 4 E2B 错误率 0.22%,31B 只有 0.01%;约束解码能杜绝格式错误,但会扭曲输出分布,用不用得看具体模型。
结论可以直接落地:拿 LLM 做零样本分类或半自动标注,置信度别问模型,读 logit。口述置信度的数字看着校准漂亮,但分不清对错,接进「低置信度转人工」的流水线会放走大量错误样本。decision-only 把 151 类标签集的打分成本压到零头,大标签集也用得起。不开训练、开源权重就能摸到商业分类 API 的水平,对隐私敏感场景是实打实的选项。这是方法选型层面的工作,不是新模型,价值在于把散落的做法放进同一把尺子量了一遍。
作者自己列了一串:Jev 的架构和训练数据不公开,无法排除它见过这些公开数据集,开源模型同理;没试 temperature scaling,用一个小的带标注验证集调温度大概率能把 logit 法的 ECE 再压一截;只有零样本、每组只写了一条 prompt,没测 prompt 抖动;全英文;采样只试了 10 次、温度 0.5 一种设置。
读下来还有三点要保留。解码步省 88-96% 不等于时间省这么多,作者自己注明有开销。判别力好、校准差,意味着 logit 置信度的数值不能直接当概率用,接决策流程前得先校准。另外汇总表剔除了 Llama 3.2 两个最小模型,正文没有解释原因。