南大腾讯研究:4 条 prompt 蒸馏效果抵 3840 条,prompt 效用取决于师生对
Tencent-Hunyuan · hf · 2026-10-14
南京大学与腾讯 LLM 部门等系统研究 on-policy distillation (OPD) 中 prompt 数量、来源与选择如何影响跨模型迁移。
核心发现：
- OPD 极度 prompt 高效：仅 4 条 DAPO prompt 即可达到 3840 条 DeepMath prompt 的数学成绩
- prompt 效用是关系性的而非内在的：只换教师模型，数学与代码 prompt 的相对效果可能反转
- 通过参数与功能变化分析迁移差异；在 continuation 对中，与教师对齐的预测变化可与弱参数对齐共存
- 在有效支持集上继续 OPD 可恢复不利迁移后的性能
- 定向选择并不稳定优于均匀随机采样，过滤掉单独表现差的来源也无一致收益
结论：有效数据选择取决于师生模型组合与目标能力，随机采样是被低估的强基线。
「研究」频道最新
- 人大与快手Kling团队发布EventLens:用事件结构强化学习补齐视频时序理解 — Guowen Zhang · 2026-10-14
- 研究员：根本不存在「AI 药物」，别再拿假前提辩论 — PatrickKidger · 2026-10-14
- 反直觉：推理力度拉满反而更差，拒绝率飙升拖垮评测成绩 — _lewtun · 2026-10-14
- 整数乘法仓库变身 Agent 基准：协作反而不如各干各的 — iskander · 2026-10-14
- Alec Helbling：新方法可视为「循环自条件化」 — alec_helbling · 2026-10-14
- MIT 研究者用爱犬 fMRI 数据做出可交互的大脑数字孪生 — Sad_Measurement_7502 · 2026-10-14