Ask-to-Distill:自动合成问题提升在线蒸馏,无需正确答案标签

UIUC-CS · hf · 2026-10-22

UIUC 团队在 HF 发布论文《Ask to Distill: Learning to Synthesize Data for On-Policy Distillation》(2026-10-20)。

核心观察与做法:

• 在线蒸馏(OPD)只需极少的训练问题就能生效,说明「问题」本身是分布知识转移的载体
• 关键难点:如何判断一个新生成的问题对蒸馏是否有价值——尤其是在拿不到正确答案的情况下
• Ask-to-Distill(A2D)把合成问题视为「分布引子」,优化它们沿学生模型生成轨迹暴露出的教师监督信号
• 学生初始化的合成器用问题价值的分布代理目标(基于师生分布分歧与可达性)做优化,无需答案标签

效果上提升了推理、编码与 agentic 任务表现,并开源了 GitHub 代码、模型与数据集。

原文链接 →

「研究」频道最新

• 纯自博弈无人工奖励,Mirror 铁镐达成率达 DreamerV3 九倍 — vincesitzmann · 2026-10-22
• 拓扑阻碍稳定性:开源教材讲清控制器何时无解 — burkov · 2026-10-22
• 从深度网络世界模型反推符号物理定律：逆向符号学习设想引讨论 — bradneuberg · 2026-10-22
• SierpinskiCam 入选 NeurIPS 2026,拍完视频可改机位重拍 — taiyasaki · 2026-10-22
• 滑雪游戏 Endless Powder 用有界工作集流式生成无限雪山地形 — sterlingcrispin · 2026-10-22
• Should old papers be retracted? Blogger: The Key Is Whether the Paper Is Still Load-Bearing — iskander · 2026-10-22

更多「研究」频道 AI 资讯 →