Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, Christopher D. Manning
EMNLP 2023 Camera Ready
cs.CL
2023-05-24
ChatGPT 与 GPT-4 口头报概率,三套问答上 ECE 常比条件概率相对低约 50%,且零训练。
系统总会答错。置信度若是校准的,报出来的把握就接近这题真正答对的频率,低把握的那一批才能交给人处理。只做预训练时,大模型的条件概率可以校准得不错。上线的对话模型却多经过 RLHF,也就是用人类偏好做强化学习。这个目标把概率质量推向「人更喜欢的答案」,不再去匹配各个答案本来的相对频率,对数概率就系统性偏自信。
Llama-2-70B 上能看见这个退步。同一套事实问答里,RLHF 之后对数概率的校准变差,温度缩放后的 ECE 上升,AUC 下降。ChatGPT、Claude 还有另一层麻烦,接口经常不返回 token 对数概率。要一个能用的把握,要么采样去估条件概率,要么让模型把数字写进回复。实验走的是后一条,而且不为报概率做任何微调。
分布这边有两条。Label prob. 对同一题采样 10 次,用 GPT-3.5 或 GPT-4 把说法不同但意思相同的回答并成一档,取出现最多的答案,用频率当置信度。试过 20 次,校准几乎不动。Is True prob. 先采一个答案,再问它对不对,看采样里有多少落在 True 上。两条都在估条件概率,因为这些接口不给逐 token 概率。
口头置信度不读分布。模型把把握写进文本,全程没有为这件事训练。一轮提示里同时给出 k 个候选,并为每个写下答对的概率,取得分最高的那个。两轮提示先只写答案,下一轮再打分。k 取 2 或 4。先把别的可能性写出来再表态,对应心理学里先考虑反面:人盯着单一答案时容易把把握说满。另一组不用数字,改从「几乎确定」选到「几乎没可能」。123 人的调查把这些说法映成概率;优化组在留出题上改用每个说法的真实正确率,极少出现的说法退回调查值。
ECE 把预测按置信度分箱,算每箱准确率与置信度的差,再按样本占比加权。永远报 50% 的乱猜,ECE 可以是 0,所以这个指标单独不够。同时看温度缩放后的 Brier 分数,也就是置信度与对错之差的均方,以及选择性分类的 AUC。那是按置信度从高到低留下答案时,准确率对覆盖率曲线下的面积。温度缩放只拟合一个温度。
TriviaQA 与 SciQ 各抽验证集 1000 题,TruthfulQA 用全部 817 题,专门挖常见误解。对错不用字符串精确匹配,改由 GPT-4 或 GPT-3.5 判断两句话算不算同一个意思。
把概率直接说出来,闭源模型上表六格的 ECE 都比采样条件概率相对低一半以上。候选加到 4 个,难题降得更多。
| 模型 | 数据集 | Label ECE | 口头 ECE |
| gpt-3.5 | TriviaQA | 0.140 | 0.050 |
| gpt-3.5 | SciQ | 0.256 | 0.065 |
| gpt-3.5 | TruthfulQA | 0.451 | 0.203 |
| gpt-4 | TriviaQA | 0.078 | 0.024 |
| gpt-4 | SciQ | 0.219 | 0.056 |
| gpt-4 | TruthfulQA | 0.445 | 0.198 |
口头一列依次是一轮设置里的 top-2、top-4、top-4、top-1、top-4、top-4。温度缩放之后,口头概率大多仍更好:gpt-4 在 TruthfulQA 上,Label 的 ECE-t 是 0.334,口头 top-2 是 0.112。区分能力是另一回事。同一套题的 AUC 从 0.462 升到 0.622;TriviaQA 上 Label 的 AUC 本来就有 0.950,口头报数没有把排序再拉开一截。
思维链没有帮忙。gpt-3.5 在 TriviaQA 上,两轮加思维链的 ECE 是 0.110,差于两阶段 top-2 的 0.047。先抽答案再问对不对,也差于答案频率,同组是 0.164 对 0.140。
Claude 两代要分开看。Claude-1 把把握说准的能力弱,SciQ 上口头 top-1 的 ECE 是 0.265,高于 Label 的 0.216。Claude-2 补上这个缺口,TruthfulQA 上口头 top-4 的 ECE-t 降到 0.075。Llama-2-70B-Chat 的 ECE 能降,TriviaQA 从 0.151 到 0.060,AUC 却从 0.865 掉到 0.815。措辞在留出集上重标定之后,这只模型在 SciQ 的 ECE 可以到 0.019,AUC 只有 0.590。少数离散档位被拟合到真实正确率,分箱误差好看,高置信并不因此更可信。
没有对数概率时,让模型先写几个候选,再各报一个概率,ECE 往往比采样好一半左右,不用微调。GPT-4 在 TriviaQA 上采样 AUC 已有 0.950,口头报数主要削过度自信。TruthfulQA 上 AUC 只到 0.622,高置信里仍有不少错答。
论文把用途放在低置信时转给人。这组选择性分类的曲线,适合给事实题排抽检顺序。拿它放行高风险操作,数字不支持。
实验停在事实回忆。推理和算术是否同样成立,论文标成未解;长回答没测,只建议拆成一串短问题。闭源模型不公开训练细节,GPT 比 Claude-1、Llama-2 更会口头校准,原因不清楚。
对错由 GPT-4 或 GPT-3.5 裁定,评委和被测同族。提示极敏感:gpt-3.5 在 SciQ 上,两阶段 top-1 的 ECE 是 0.340,一轮 top-4 是 0.065。措辞重标定和温度缩放都要用带标签的题。Llama-2 因此能把 SciQ 的 ECE 做到 0.019,AUC 仍是 0.590。访问在 2023 年 6 月,Claude-1 已下线。RLHF 前后的对照只做了 Llama-2。