PACT：为扩散语言模型的中间草稿步骤提供有效训练信号

burkov · x · 2026-11-12

扩散语言模型（Diffusion Language Models）通过一系列部分草稿生成答案，一次揭示多个 token，而非严格从左到右书写。这能加快生成速度，却给强化学习训练带来难题：完整答案的概率难以精确计算，对整体答案给奖励的方法也无法区分哪些中间决策有益或有害。

文章介绍的 PACT 方法同时学习语言模型的响应策略和每个未完成答案的评分。该评分估计部分答案的潜力，并以完整答案的奖励为锚点。训练时，PACT 鼓励每个生成步骤相对于原始模型的偏好变化与锚定的奖励变化相匹配，从而让中间步骤获得更有信息量的训练信号。