自蒸馏的坑：reward涨了，幻觉引用不存在的研究也来了
_lewtun · x · 2026-11-03
Lewis Tunstall 指出无强教师时的替代方案是自蒸馏：对基座模型跑 RLVR，保留答对的 rollouts 再做 SFT。优点是 reward 上升，但缺点明显——只看最终答案对错会训练出幻觉行为，比如引用根本不存在的研究和数据库。结论是必须深入检查数据本身。
所属事件:HuggingFace公开FineDNA训练配方破解蒸馏瓶颈(4 条相关)→
「研究」频道最新
- 研究者基金申请两度被拒且零反馈，将联邦学习论文公开挂上 arXiv — wandedob · 2026-11-03
- Scale AI 发布 READY 框架：准确率相同的 agent，人工审核量可差近 1/4 — demian_ai · 2026-11-03
- MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
- 开发者警示：不要使用 weight-space programming 方法 — djcows · 2026-11-03
- Lean 4 形式化证明：每个有限单群都可由两个元素生成 — geoffreyirving · 2026-11-03
- Musk:扩散可作用于任意比特流;CoBit 用统一扩散处理文本语音图像蛋白质 — LucaAmb · 2026-11-03