2026-09-29
同底座对比显示,推理蒸馏和RL让数学与科学题的口头置信度阶梯变准;14B/32B在事实题上拒答数从上千掉到几十,准确率却几乎没涨。
推理模型会在思维链里写出「Wait, but...」这类回头检查。如果这真是内省,口头报出的把握应该更贴实际对错。指令微调模型已经被反复测过:经常把把握说满,而且对prompt很脆。这篇要问的更具体:同一底座上,走过长思维链蒸馏、再走过推理RL的模型,口头校准有没有一起变好。
他们把模型分成三类。指令模型是Qwen2.5-14B/32B-Instruct和DeepSeek-V3,走的是混合SFT再加对齐RL。SFT推理模型是DeepSeek-R1-Distill-Qwen-14B/32B,用中间版R1的80万条数据微调,其中60万条是长推理、20万条非推理。RL推理模型选了DeepCoder-14B-Preview、Skywork-OR1-32B-Preview和DeepSeek-R1,前两个分别从已评的蒸馏模型上做代码或数学RL,方便直接看RL增量。
评测分四块:AIME 2024和2025各30题跑五次;事实题用SimpleQA和FreshQA-2025-04-28;科学推理用GPQA-Diamond全部198题,再从SuperGPQA的易中难各抽500题共1500题;一般推理用LiveBench的推理段150题,同样跑五次。
每道题都要求模型在XML里同时给出答案和置信度。三种prompt:普通CoT;把置信度改成0.0到1.0的概率;两轮对话,先答题再自评。主结果表用第一种。
校准看ECE和ACE,都是10个桶,事实题只计入尝试过的题。失败预测看AUROC,以及正例和负例各自的AUPRC。正文写统一温度0.6、最多3.2万新token;附录超参表里指令模型是温度0.7、长度3K,推理模型是0.6、16K。这两处对不上,读数字时要记得生成预算并不完全公平。
不跟指令的样本不到1.5%,直接丢掉。
推理密集任务上,蒸馏是第一级台阶,RL是第二级。Qwen2.5-32B在AIME上准确率9.67%、ECE 0.752;蒸馏到R1-Distill-Qwen-32B后准确率65.7%、ECE 0.240、AUROC从0.695升到0.813。14B同样从11.3%/0.760走到46.7%/0.342。DeepCoder-14B再把AIME准确率推到57.7%、ECE 0.222。Skywork-32B的AIME准确率反而掉到51.3%,低于蒸馏的65.7%,但ECE继续降到0.183,LiveBench推理段从73.3%升到84.7%。RL不保证每项都更高,校准优势更稳。
DeepSeek-R1相对V3的跨度最大:AIME 23.0%到68.0%,ECE 0.570到0.136;GPQA-Diamond 48.5%到68.7%,ECE 0.354到0.082。R1不是V3的直接RL续训,这个对照只能当旁证。
AUPRC-N在蒸馏后经常下降。模型更准、报分更高,剩下的错题也更难用置信度分开,失败预测信号被挤薄了。
事实题是另一幅图。14B指令模型在SimpleQA加FreshQA上「没答」1136次,蒸馏和RL分别只剩102和103次;32B从2492次掉到76和63次;DeepSeek-V3的480次到R1只剩81次。附录里从指令检查点接着蒸馏的OpenThinker2-32B和R1-Distill-Llama-70B同样大幅少拒答,不是「从base起步」这一条能解释的。
| 规模 | 指令拒答 | 蒸馏拒答 | RL拒答 |
| 14B | 1136 | 102 | 103 |
| 32B | 2492 | 76 | 63 |
| DeepSeek | 480 | - | 81 |
两边都答的题上,14B准确率从12.5%降到蒸馏10.5%、RL 9.98%,ECE从0.598升到0.692/0.684。32B准确率几乎不动(17.4%/17.5%/17.1%),校准还是变差。DeepSeek才看到准确率27.5%到34.6%、ECE 0.496到0.317。指令模型不敢碰、推理模型硬答的那批题,14B/32B准确率只有2%到4%,ECE在0.65以上;R1能做到11.4%、ECE 0.371。小模型多答了,没多对。
思维链越长,科学题上准确率和口头置信度一起往下掉,R1掉得最明显。长度短于1万token时ECE还算稳;超过这个阈值,小模型ECE略升。短链条往往配着更高置信度。
三种prompt改不了主结论。RL模型在推理基准上校准几乎总是最好。Self-reflection在SimpleQA上常让小模型更自负,在FreshQA上又常常把校准拉回来,跟数据集里假前提的比例有关。训练范式和规模压过prompt技巧。
如果产品侧把「会反思」理解成「知道自己会不会」,这篇给了一个反例。开源小推理模型在数学和科学上确实更准、口头分数也更贴准确率;换到短事实题,它们几乎不说不知道,准确率却没跟上。作者把这叫做reasoning tax:推理向训练提高了推理中心任务的表现,代价是小模型更认不清知识边界。
这和OpenAI o1对GPT-4o的故事不完全一样。Wei等人在事实题上看到o1校准更好、拒答也更多。开源这条线拒答是反向的。讨论里把它接到并发工作里的hallucination tax:奖励设计惩罚弃权、鼓励猜,推理RL会把这个放大。SFT把复杂推理的校准做上去,事实域可能做坏;RL能从U形底部往回捞一点,但14B/32B捞不回指令模型的拒答习惯。
要拿口头置信度做路由或弃权,至少把事实题单独测一遍,别只看AIME的ECE。
作者自己写了两条。代码推理被拿掉了,因为多数模型没法同时输出代码片段和置信度。事实题判定没做人工复核,沿用SimpleQA那套自动分箱。
生成预算不对齐。指令模型3K、推理模型16K,长思维链带来的校准变化有多少来自「被允许想得更长」,文中没有拆开。Skywork在AIME上准确率低于蒸馏模型,RL增量不是单调的。口头置信度也只是一种便宜的不确定性接口,没有和semantic entropy这类采样方法对照。