负向自蒸馏：让模型靠避开错误推理学会更好的推理
Rongcan Pei · hf · 2026-09-11
提出 Negative Self-Distillation 方法，通过让模型远离自身生成的有缺陷推理路径来提升推理能力，而非模仿正向样本。
核心设计是一个动态门控机制（dynamic gating），在蒸馏过程中保护模型的通用语言能力不被损伤。该方法提供了一条与正向 SFT/RLHF 互补的训练思路：从「避免错误」而非「模仿正确」中学习。
「研究」频道最新
- 可编程元胞自动机 PCA：让每条规则变成可读代码 — Amidos2006 · 2026-09-11
- GEVIBench 发布:系统对比各类电压指示器的综合基准 — drmichaellevin · 2026-09-11
- 高斯混合建模光传输方程,INRIA 新方法加速全局光照求解 — ssh4net · 2026-09-11
- P vs NP 恐难被 AI 攻破，fortnow 点名 NP vs L 等更可行难题 — fortnow · 2026-09-11
- MaP-WAM 用记忆驱动规划攻克非马尔可夫机器人操作难题 — Sizhe Zhao · 2026-09-11
- DeepMind 等论文：设计文档当真相源，代码改为可抛弃产物 — Roger_M_Taylor · 2026-09-11