研究员提出可校准的CoT披露量:蒸馏效率与推理披露度正相关

eliebakouch · x · 2026-10-18

Elie Bakouch 澄清他指的是「完整思维链」后提出一个猜想:蒸馏效率(每条样本能获取的信息量)与向用户披露的推理信息量正相关,而且这种关系相当可预测——可以用不同信息披露级别训练模型,测出各自需要多少样本,再据此校准向用户展示多少推理内容。

他不确定的是:这个关系是否只需极少的推理信息就足够有效,因为完全隐藏思维链会严重损害用户体验。他进一步猜测,若要在模型层面(而非分类器层面)防蒸馏,可能存在 CoT 可控性与防蒸馏之间的深层权衡。