Negative Self-Distillation:无标签训练让 LLM 学会「避开错误」
kastnerkyle · x · 2026-09-15
Twitter 用户 @peirongcan 提出名为 Negative Self-Distillation (NSD) 的方法,核心思路是让 LLM 推理能力不再依赖复制完美解答,而是通过显式学习「什么不该做」来提升。该方法号称无需标签(label-free),通过训练模型明确规避缺陷来改进推理。作者发布了一个推文串展开细节,具体实验结果待原文进一步查看。
「研究」频道最新
- GenSyn 发布 OPEN-1B：训练过程可逐位重放验证的 1B 开源模型 — benfielding · 2026-09-15
- Anthropic 论文:双下降是记忆样本到学习结构的相变 — gordic_aleksa · 2026-09-15
- 机制可解释性研究：双重下降是记忆与泛化的相变 — gordic_aleksa · 2026-09-15
- 新论文把权威资料转成考题，系统评测 LLM 职业知识 — RishiBommasani · 2026-09-15
- TabPFN-3.5 发布：支持时序与分组数据，推理最快提速 6 倍 — FrankRHutter · 2026-09-15
- Google 发报告:1500 万次 Gemini 交互揭示 AI 如何改变科学研究 — danielrock · 2026-09-15