Meta 提出 DCE+SRCL 自蒸馏框架,Qwen3-8B 准确率 30.76% 升至 65.97%
arankomatsuzaki · x · 2026-09-28
Meta 团队在 arXiv 发布论文《Recursive Self-Improvement via On-Policy Distillation for Reasoning》,提出改进 on-policy 自蒸馏(OPSD)的递归框架:
- 动态共同演化(DCE):打破传统 OPSD 中 teacher 冻结的设定,让持有标准答案的特权 teacher 与 student 共同演化,使每一轮学到的修正能指导下一轮,解决冻结 teacher 无法吸收 student 进步的问题。
- 自精炼简洁学习(SRCL):针对更强修正会导致回答冗长和过度自我批评的问题,额外在模型自身 on-policy 回答的更短、经验证的改写版本上训练。
实验显示在 Qwen3-8B 上平均准确率从 30.76% 提升到 65.97%,增益显著。
「模型」频道最新
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- GTA6 预告片发布至今,LLM 顶尖成绩已翻倍有余 — ApprehensiveAd3629 · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16