新论文：自蒸馏未必适合思考模型
amaarora · x · 2026-07-17
新论文重新审视了 thinking models 的 on-policy self-distillation（OPSD）。 作者指出，OPSD 原本被看作一种有希望的递归自我改进路径，因为思考型模型可以利用自身的“特权信息”进行推理、验证和纠错；但实验结果出乎意料：OPSD 反而可能让 thinking models 变差。
amaarora · x · 2026-07-17
新论文重新审视了 thinking models 的 on-policy self-distillation（OPSD）。 作者指出，OPSD 原本被看作一种有希望的递归自我改进路径，因为思考型模型可以利用自身的“特权信息”进行推理、验证和纠错；但实验结果出乎意料：OPSD 反而可能让 thinking models 变差。