HuggingFace公开FineDNA训练配方破解蒸馏瓶颈
HuggingFace的Lewis Tunstall分享了FineDNA数据集的构建经验：在缺少比基座更强的教师模型时，自蒸馏（对基座跑RLVR后保留正确rollouts再做SFT）虽能提升reward，却会产生引用不存在研究的幻觉。团队转而分析模型错误与提示，用代码计算拼接事实构建推理链，准确率反超自蒸馏。团队还宣布在300B token上的中期训练与后训练配方完全开源开放。
2026-11-03 ~ 2026-11-03 · 4 条相关
- 第 1 集:Hugging Face 开源 DNA 模型 Carbon-X，评测遭斯坦福教授质疑(2026-10-22,33 条)
- 第 2 集:Hugging Face 开源 148 亿参数 DNA 模型 Carbon-X(2026-10-25,3 条)
- 第 3 集:Hugging Face 开源 FineDNA 与 Carbon 模型，Carbon-X DNA 基准超 GPT-6.1(2026-11-01,11 条)
- 第 4 集:HuggingFace公开FineDNA训练配方破解蒸馏瓶颈(2026-11-03,4 条)
- 自蒸馏的坑：reward涨了，幻觉引用不存在的研究也来了 — _lewtun · 2026-11-03
- 不用教师模型：代码生成事实拼出推理链，准确率反超自蒸馏 — _lewtun · 2026-11-03
- HuggingFace 团队解密 FineDNA：无更强教师模型时如何做后训练 — _lewtun · 2026-11-03
- HuggingFace 开放 FineDNA 配方：300B token 中训破解蒸馏天花板 — _lewtun · 2026-11-03