蚂蚁国际 PAR 方法让 Qwen2.5-0.5B 状态跟踪外推 16 倍长度

ant-intl · hf · 2026-10-21

蚂蚁国际与新加坡国立大学提出 Progress-Aligned Recurrence（PAR），解决循环语言模型测试时加迭代也无法解更长问题、且最终答案监督会让循环状态尺度漂移的难题。PAR 将第 k 次迭代的预测对齐到前 k 步操作后的状态，并把循环状态重标定到首轮范数。在 swap-S5 上，仅用最多 32 步训练的 Qwen2.5-0.5B 在 512 步（16 倍训练长度）达到 95.5% 平均全状态准确率，而同骨干的 RLT 为 55.7%、显式思维链仅 0.8%。消融显示去掉范数锚定会把外推因子从 16 倍压到 2 倍以下；学习式完成冗余度机制可在无给定停止深度时自主决定何时作答；中间标签缺失时可用前缀自蒸馏。