Apple 用自蒸馏提升代码生成
Apple ML Research · rss · 2026-07-16
Apple ML Research 介绍了一种很简单的自蒸馏方法（SSD）：**不依赖 verifier、教师模型或强化学习**，只用模型自己生成的原始输出，再做监督微调，让模型提升代码生成能力。 方法流程是： 1. 用特定的温度和截断配置采样模型输出； 2. 把这些样本当作训练数据； 3. 直接进行标准 SFT。 论文报告的结果是： - 在 **LiveCodeBench v6** 上，**Qwen3-30B-Instruct** 的 **pass@1 从 42.4% 提升到 55.3%**。 - 提升主要集中在更难的问题上。 - 该方法可泛化到 **Qwen** 和 **Llama** 系列模型，覆盖 **4B / 8B / 30B** 多个规模。 这说明即使没有额外标注器或复杂 RL，单靠模型自身输出也能通过合适的自蒸馏流程显著增强代码能力。