不用教师模型：代码生成事实拼出推理链，准确率反超自蒸馏
_lewtun · x · 2026-11-03
Hugging Face 研究者 Lewis Tunstall 分享 FineDNA 数据集构建经验：放弃从教师模型蒸馏，转而分析模型错误与提示后，把每条训练解释用代码计算出的客观事实加上模型自身对突变「罕见程度」的判断拼装成有依据的推理轨迹（reasoning traces）。用这种接地方式，准确率提升到约 67%，而自蒸馏（self-taught）版本卡在 60% 以下。
所属事件:HuggingFace公开FineDNA训练配方破解蒸馏瓶颈(4 条相关)→
「研究」频道最新
- 研究者基金申请两度被拒且零反馈，将联邦学习论文公开挂上 arXiv — wandedob · 2026-11-03
- Scale AI 发布 READY 框架：准确率相同的 agent，人工审核量可差近 1/4 — demian_ai · 2026-11-03
- MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
- 开发者警示：不要使用 weight-space programming 方法 — djcows · 2026-11-03
- Lean 4 形式化证明：每个有限单群都可由两个元素生成 — geoffreyirving · 2026-11-03
- Musk:扩散可作用于任意比特流;CoBit 用统一扩散处理文本语音图像蛋白质 — LucaAmb · 2026-11-03