剪枝模型的短到长恢复法
ByteDance · hf · 2026-07-16
这篇论文关注的是：**结构化剪枝后的 LLM，为什么在真实生成任务里会突然“崩掉”**。 作者发现两个现象： - 剪枝后，greedy 的 pass@1 几乎消失，但重复采样下的 pass@k 还能恢复不少，说明很多有用输出不是没了，而是被“降级”了 - 恢复失败往往集中在 **后缀重复**，也就是模型在长生成里不断重复冗余尾巴 为此他们提出 **ShortOPD**，一种短到长的 on-policy distillation 调度： - 用教师模型识别重复后缀 - 把剩下的有效前缀当作 rollout 的“有效长度” - 把训练预算分配给当前模型真正能用上的长度区间 实验覆盖 math、code 和开放式生成。结果显示，ShortOPD 能把压缩模型的分数提升到大约 **9 倍于未恢复状态**，并比常规恢复方案高 **1.6–4.4 倍**；同时它只用 **四分之一训练时间** 和 **少 71% 的 rollout tokens**，就能接近固定 8192 token rollout 的效果。