研究:用更小模型生成 rejected 样本,7B-72B 学生模型训练效果反而更强
LinkedIn · hf · 2026-10-02
LinkedIn 研究挑战偏好蒸馏的两个默认假设：自生成失败是最有信息量的负样本、rejected 样本必须来自不小于学生的模型。
- 核心发现：7B 到 72B 的学生模型中，用更小的冻结模型生成 rejected 样本，推理算力更省，训练效果却优于自生成 rejects，且在代码生成与数学推理上于序列级蒸馏前后均成立
- 理论支撑：推导了线性化特征模型下 DPO 的有限视界效用界，刻画有利的 reject 分布
- 三个干预手段：混入小模型与同尺度模型的 rejects、把 rejects 重分配到其他 prompt 及打乱代码 token（仍优于长度匹配的乱码）、用参考策略下低似然候选做选择（各来源下低似然均优于高似然）
- 结论：有效的 rejected 样本应保留任务结构同时限制与参考策略的耦合，小模型可低成本提供这类样本
「研究」频道最新
- 审计发现语义缓存基准 23% 的「错误命中」其实是同一 prompt — Reasonable_Royal_621 · 2026-10-02
- Amazon Research Awards 2026 秋季征集开启,11 月 4 日截止 — DocXavi · 2026-10-02
- Meta 研究：知识蒸馏比标准微调减少超 50% 训练数据记忆化 — lasha_nlp · 2026-10-02
- Hugging Face 发布多 harness 强化学习终极指南 — Saboo_Shubham_ · 2026-10-02
- 从 Transformer 到 MoE:一文串联 AI 核心技术背后的关键论文 — goyalshaliniuk · 2026-10-02
- MoE 经典论文精读：稀疏门控如何让模型容量提升千倍 — goyalshaliniuk · 2026-10-02