论文系统比较5种LLM置信度估计方法:11个模型、5个数据集零样本分类实测
kalyan_kpl · x · 2026-11-21
该论文研究 LLM 在不做微调的情况下,如何同时完成零样本文本分类并估计预测置信度,解决「知道什么时候该信模型」的问题。
方法对比:作者系统比较了黑盒方法(口头化置信度、重复采样)与白盒方法(token 概率、P(True)、基于 logit 的打分)等置信度估计手段,此前这类方法从未在分类任务上被系统评测过。
实验设置:覆盖 11 个开源权重 LLM(1B–32B 参数),在 Banking77、CLINC150、20 Newsgroups、SST-5、FEVER 五个数据集上评测准确率、Macro-F1、AUROC、期望校准误差(ECE)等指标。
核心结论:LLM 天然已可作为具备置信度感知的零样本分类器,但不同置信度估计方法的校准质量差异明显。
「研究」频道最新
- AI 已解百年数学难题,数学家 Ken Ono 撰文解释为何仍不离开数学 — stevenstrogatz · 2026-11-22
- AnyS1 框架:4B 轻量模型接管 Agent 工作流常规决策,成本降 75-91% — kalyan_kpl · 2026-11-22
- MLatom 3.27 发布:AIQM 系列 AI 量子化学方法一条 pip 即可安装 — PavloDral · 2026-11-22
- Looped Transformer 详解:Inkling 2 Mini 中间 12 层循环 3 次实现 48 层深度 — Prompt Engineering · 2026-11-22
- 研究者称用 Gemini 在纳米光学领域做出有望冲 Nature 的发现 — xennygrimmato_ · 2026-11-22
- TU Delft 开源 City4CFD:自动重建水密 3D 城市几何用于流体仿真 — Promptmethus · 2026-11-22