HF 用 300B token 在 Qwen3-14B 上训出 DNA 理解模型
josh_wills · x · 2026-11-04
Hugging Face 团队构建了 DNA 理解模型 FineDNA：用 300B token 的 DNA 与自然语言混合数据对 Qwen3-14B 做中期训练，得到很好的领域后训练基座。一个关键难题是没有更强模型可蒸馏——作者分享了在无更强教师情况下构建 SFT 与 RL 数据子集的经验。
所属事件:HuggingFace 开源 FineDNA 配方：无强教师下的训练经验(5 条相关)→
「研究」频道最新
- AI2 研究者披露正构建状态追踪长上下文评测基准 — lambdaviking · 2026-11-04
- Allen AI 新基准：面向状态跟踪任务的长上下文评测 — lambdaviking · 2026-11-04
- 「权重空间编程」演示：GPT-6 直改 0.016% 权重，Qwen3.5-0.8B 数学提升至 6 倍 — repligate · 2026-11-04
- OOD 不确定性量化研究获 EMNLP UncertaiNLP 现场 Spotlight 奖 — PMinervini · 2026-11-04
- Meta 与 Duke 论文：奖励黑客可在多智能体间传播，Claude 与 Gemini 中招超七成 — rohanpaul_ai · 2026-11-04
- UT奥斯汀教授免费电子书新增Transformers章节，从零手搓并训练 — GeostatsGuy · 2026-11-04