论文系统比较5种LLM置信度估计方法:11个模型、5个数据集零样本分类实测

kalyan_kpl · x · 2026-11-21

该论文研究 LLM 在不做微调的情况下,如何同时完成零样本文本分类并估计预测置信度,解决「知道什么时候该信模型」的问题。

方法对比:作者系统比较了黑盒方法(口头化置信度、重复采样)与白盒方法(token 概率、P(True)、基于 logit 的打分)等置信度估计手段,此前这类方法从未在分类任务上被系统评测过。

实验设置:覆盖 11 个开源权重 LLM(1B–32B 参数),在 Banking77、CLINC150、20 Newsgroups、SST-5、FEVER 五个数据集上评测准确率、Macro-F1、AUROC、期望校准误差(ECE)等指标。

核心结论:LLM 天然已可作为具备置信度感知的零样本分类器,但不同置信度估计方法的校准质量差异明显。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →