HuggingFace 开放 FineDNA 配方：300B token 中训破解蒸馏天花板
_lewtun · x · 2026-11-03
HuggingFace 的 Lewis Tunstall 宣布团队在 FineDNA 上的中期训练（mid-training）与后训练（post-training）配方完全开源，希望这些突破蒸馏天花板的经验能帮助模型构建者在其他领域复制同样的做法。
一个关键经验：这一切的前提是模型对该领域已有基础认知。开箱即用的 Qwen3-14B 只在 17% 的提示上能产生有效学习信号；经过 300B token 的 DNA+文本混合中训后，这一比例提升到 42%。数据集已公开。
所属事件:HuggingFace公开FineDNA训练配方破解蒸馏瓶颈(4 条相关)→
「研究」频道最新
- Prime Intellect 驻留者抛出难题:高价值知识工作没有可验证答案,RL 奖励怎么定? — xeophon · 2026-11-03
- Understanding AI 深度长文:用最少数学讲清强化学习如何造出 Agent — binarybits · 2026-11-03
- 研究者观点:高质量的机制可解释性研究本质上是「双用途」技术 — cephaloform · 2026-11-03
- 因果机器学习辅助急性心衰用药决策,首次进入人体前瞻试验 — ShalitUri · 2026-11-03
- ChefNMR2 全面开源:论文、代码、项目页齐发,Agent 版已上线 Kosmos — ZhongingAlong · 2026-11-03
- ChefNMR2 基准测试：2000+分子上 Top-1 命中 82.3%,最佳 LLM 仅 52% — ZhongingAlong · 2026-11-03