Self-Play Search Distillation for Large Language Model Reasoning
Lorenzo Molfetta, Wai-Chung Kwan, Giacomo Frisoni, Luca Ragazzi, Gianluca Moro, Pavlos Vougiouklis, Jeff Z. Pan, Pasquale Minervini
cs.AI
2026-09-25
SPSD把棋盘游戏里MuZero式自博弈搜索写成可回放思维链，再用OPSD训Qwen3-4B-Base，六道数学均分从24.1升至36.6，留出棋胜率从15%升至45%。
提升 LLM 推理，缺的经常是能露出难决策、竞争备选和延迟后果的过程监督。最终对错只告诉你做成了没有，看不出求解器怎么保住状态、怎么丢掉看似合理的岔路。人工过程标注贵、难核验，质量还被标注员水平封顶。让学生自己造任务或轨迹，监督又会绑在它当下的错误上。
可执行棋盘把这件事收得很紧：规则给出合法动作和确定性转移，终局给出延迟回报，改局部规则就能换题而不换评测接口。MuZero 一类自博弈搜索会留下比「选了哪步」更多的东西，包括备选、对手回应、分支价值和可回放后续。搜索专家像带引擎的棋手，每一步都带着比较过程。SPSD 把这些外部专家放进数据环，不让 LLM 自己当老师，监督质量和学生当前策略脱钩。
三步全离线。学生不参加专家自博弈，推理时也看不到搜索值。后训练语料全是棋盘记录，没有数学题。
对 Connect4、Domineering、Simplified Othello、Tic-Tac-Chess 各训一个 EfficientZero 专家（Expert Iteration 家族，经 LightZero），每步 50 次 MCTS（Monte Carlo tree search，用模拟在动作树上比较走法）。轨迹开头先均匀随机走一段合法前缀，再让专家坐两边，避免确定性策略把状态挤在同一条主线。每个决策状态导出四样东西：选中的根动作（当前局面搜索树根上那一步）、由访问次数得到的根策略、根价值、以及带可回放前缀的分支证据。分支全部在环境里重放，对不上的丢掉。
活下来的记录变成两类语言监督。走法选择按访问排序根动作，重放专家一手、至多一个备选和一手对手回应，只叙述棋盘效果和终局，最后框出专家选的合法 handle。另外六类状态题覆盖占位、合法性、威胁数、合法动作计数与枚举、后继状态，防止走对步却读错盘。四款游戏各 5,000 条，Tic-Tac-Chess 可核验状态少，只留 600 条；80% 走法、20% 状态题。
后训练三条路共用同一学生可见提示，都要框出合法动作。SFT 直接拟合线性化轨迹。OPSD（on-policy self-distillation）让学生自己采样回复，冻结教师在专家轨迹条件下对学生前缀做词表上的前向 KL，把特权证据接到学生正在走的状态分布上。RuleBot-Distill 保持 OPSD 流程，把搜索语料换成启发式规则 bot 的可核验完成，用来拆开「搜索比较」和「正确动作」。SFT 拟合的是专家到过的盘，弱学生自己走不到那些局面，所以教师条件要接到学生自己的前缀上。
设置是 Qwen3-4B-Base、Qwen3-8B（关或开 thinking）、Llama-3.1-8B，各 1,000 step、单卡 H200（141 GB）。棋评测用 15 款训练未见面的 Ludii 游戏；数学是 MATH500、AIME24、AIME25、AMC23、Olympiad Bench、Minerva Math 的六项均分。
Qwen3-4B-Base 上：
| 方法 | 数学均分 | 留出胜率 | FIDE | 合法率 |
| Base | 24.1 | 15% | 15.0% | 65.0% |
| SFT | 30.3 | 20% | 19.9% | 34.9% |
| RuleBot-Distill | 33.9 | 35% | 35.1% | 70.1% |
| OPSD | 36.6 | 45% | 39.9% | 75.1% |
OPSD 四项全最高。MATH500 从 56.4 到 74.0，AIME24 从 6.2 到 12.7，AIME25 从 5.9 到 12.4，AMC23 从 29.7 到 47.0，Minerva Math 从 20.2 到 38.6；Olympiad Bench 上 RuleBot 35.7，OPSD 35.1，这一项规则 bot 更好。SFT 合法率掉到 34.9%，死记轨迹会把合法动作一起冲掉。
换骨干，故事就没这么干净。Qwen3-8B 关 thinking，OPSD 把数学均分从 48.3 提到 51.4，胜率从 45% 到 55%，合法率从 95% 掉到 85%。开 thinking 时数学已在 74.9 附近饱和，OPSD 只到 75.0；棋上 FIDE 从 51.0 到 59.5、胜率从 53.7% 到 62.7%，合法率维持 100%。同一开 thinking 设置里，SFT 把合法率打到 30.6%、胜率 16.4%。Llama-3.1-8B 数学几乎不动（Base 19.5，OPSD 19.2），RuleBot 和 OPSD 的棋结果完全一样：FIDE 47.5，胜率 50%。
训练曲线上 SFT 早高峰然后掉，OPSD 后半程继续涨。把五款基础游戏各扩 9 个局部规则变体、共 50 个环境，同一预算下变体课表收到 FIDE 42.4%、合法率 77.3%、数学均分 39.2，对照基础课表的 39.9%、75.1%、36.6，三项在每个记录的 step 上都领先。
Figure 4 用新的 50 次模拟 MuZero 搜索给模型实际走的每步打分。赢棋集中在高 Q50、高 oracle 一致的区域。SPSD-Qwen3-4B 的赢和「跟 MCTS 选同一手」绑得比 Gemini 3.1 Pro 更紧。推理时搜索是藏着的，这个一致只能说明它学到了按后果排序动作。
这是一条不靠人工过程标注、也不靠学生给自己当老师的合成数据路径。环境可执行，叙述就能回放核对；搜索专家的质量理论上可以超过人类。对已经在做可验证 RL 的人，它多了一种过程信号：比较备选、预判对手、读延迟价值，不只给最终答案打分。
不要读成「下棋可以替代数学 RL」。涨幅最大的是 4B base；8B thinking 和 Llama 指令模型上，数学迁移很弱或为零。RuleBot 已经把 4B 胜率从 15% 拉到 35%、数学均分从 24.1 拉到 33.9，搜索结构是在这之上再加 10 个点胜率和 2.7 个均分。更接近的用法是：有可执行规则和能搜索的专家时，把「比较与后果」写成离线语料，用 OPSD 接到学生自己的前缀上；改棋规比堆同质对局更划算。
正文没有独立 Limitations 节，结论只点了「继续扩可执行环境课表」。实验数字已经把边界画出来了。
迁移绑在骨干上。Llama-3.1-8B 的数学均分从 19.5 到 19.2，两条专家来源的棋结果相同，搜索蒸馏在这个指令模型上几乎没有额外贡献。Qwen3-8B 开 thinking 时数学六项已经饱和，SPSD 的主场是弱 base。
对照也不完整。没有和数学域 GRPO、过程奖励模型、人工过程监督，或 ASTRO 这类自然语言 MCTS 轨迹做同预算对比。RuleBot 已经很强，「可核验好动作 + OPSD」本身就值钱；论文把更多功劳记在搜索结构上，4B 上相对 RuleBot 的增量其实不大。
训练游戏是 Connect4 量级，不是围棋。超人类指 EfficientZero 在这些小游戏上相对人类，不是把 AlphaZero 级棋力灌进 LLM。15 款留出 Ludii 上，4B OPSD 合法率仍只有 75.1%，约四分之一回合败在格式或非法动作。全程 1,000 step、单卡 H200，更长训练和更大专家没做。Figure 1 还显示前沿模型在棋上远未饱和，SPSD 没有接到那些模型上。