HuggingFace 团队解密 FineDNA：无更强教师模型时如何做后训练
_lewtun · x · 2026-11-03
HuggingFace 的 Lewis Tunstall（lewtun）分享构建 🧬 FineDNA 的 SFT/RL 子集时遇到的核心难题：没有比基座更强的模型可供蒸馏时怎么办。
- Mid-training 打底：开箱即用的 Qwen3-14B 仅在 17% 的提示上给出可学习信号；用 300B tokens 的 DNA+文本做 mid-training 后，可学习比例升至 42%，可学习提示池从 952 增至 7,200。
- 放弃教师、自建「接地推理轨迹」：把训练解释拆成「代码计算的事实 + 模型自身对变异罕见度的判断」，拼装成 grounded reasoning traces 再做 SFT，准确率从 60% 以下提升到约 67%，优于自蒸馏 RL 路线（59.3%）。
- 自蒸馏的坑：直接对基座跑 RLVR 再对正确 rollout 做 SFT，reward 虽涨，但模型会编造引用文献、数据库等幻觉式论证。
- 前沿模型当教师也不行：让三个前沿模型给 1,000 个遗传变异分类，GPT-6.1 Sol 全部只给裸标签（推理加密）、Gemini 4 Argon 拒答超 50%、Opus 5.5 约 20% 耗尽 token，开源权重模型几乎接近随机。
结论：领域知识必须先通过 mid-training 进入模型，RL 才有东西可学；推理链要「接地」到可计算的事实上，而非依赖强模型的黑箱输出。
所属事件:HuggingFace公开FineDNA训练配方破解蒸馏瓶颈(4 条相关)→
「研究」频道最新
- AI 演示翻车还是钓鱼?批评者指 prompt 暗示了答案 — mayfer · 2026-11-03
- Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
- 递归调用 GPT-5-Mini 常比单次调 GPT-5 更便宜且效果更好 — lateinteraction · 2026-11-03
- 同一 Agent 用 Rust 和 C 重写 Liquid 模板引擎：Rust 省 42% token，C 快 1.7 倍 — antirez · 2026-11-03
- 「苍蝇打节奏光剑」爆红，全脑仿真亟需公认判定基准 — rishabh16_ · 2026-11-03
- 研究者找出 Google 搜索 120 个 twiddler 重排程序，多个与 AI Mode 相关 — VeryWellVersed · 2026-11-03