HuggingFace 开源 FineDNA 数据集与 Carbon 模型，DNA 任务超 GPT-6.1
Hugging Face 生物团队(Loubna Ben Allal 等)发布基因组数据集 FineDNA 与开源模型系列 Carbon,并公开全部数据、模型权重与训练配方(Apache 2.0)。经此训练的 Carbon-X 在 DNA 基准上超越 GPT-6.1 与所有开源语言模型，成为 DNA 领域最强的开源模型。
已确认
- FineDNA 数据集规模为 300B+ token,混合基因组序列、论文与掺有 DNA 的网页文本，另附 200k 条 SFT 样本(涵盖变异效应预测、序列问答等 DNA 任务)
- Carbon-X 由 Qwen3-14B 经 FineDNA midtraining + 200k SFT + 可验证奖励 RL 训练而成，作者称其 DNA 任务成绩超越所有开源语言模型与 GPT-6.1
- midtraining 配方要点:作者强调用合适学习率中训后，DNA 分数持续提升(序列恢复 0.56、ClinVar 变异效应 AUROC 0.92),同时英文能力保持在起点水平、不发生遗忘
- 作者还指出 midtraining 是 RL 生效的前提:直接在 Qwen3-14B 上做 RL,FrontierVEP 成绩始终停留在随机水平(约 50%);经 FineDNA 中训后同样 RL 配方才能持续涨分
- Carbon 主系列包含 Carbon-500M/3B/8B 基础模型，支持 zero-shot 使用，同样完全开源
为什么重要
- 数据、权重与完整训练配方全部公开，为基因组领域提供了可复现的开源路径
- 「中训是 RL 生效前提」与「英文能力不遗忘」的实证结果，对其他领域的中训+RL 流水线有方法论参考价值
2026-11-01 ~ 2026-11-01 · 6 条相关
- 第 1 集:Hugging Face 开源 DNA 模型 Carbon-X，评测遭斯坦福教授质疑(2026-10-22,33 条)
- 第 2 集:Hugging Face 开源 148 亿参数 DNA 模型 Carbon-X(2026-10-25,3 条)
- 第 3 集:HuggingFace 开源 FineDNA 数据集与 Carbon 模型，DNA 任务超 GPT-6.1(2026-11-01,6 条)
一手来源
- HuggingFace 开源 FineDNA 数据集,14B 模型 DNA 基准超 GPT-6.1 — loubnabnl ·
- Hugging Face 团队 Carbon-X:DNA 任务超越所有开源语言模型 — LoubnaBenAllal1 ·
- HF 开源 DNA 基础模型 Carbon 全家桶:数据、模型与训练配方全公开 — LoubnaBenAllal1 ·
- Hugging Face 发布 FineDNA：300B+ token 基因组数据集让语言模型学会 DNA — LoubnaBenAllal1 · 2026-11-01
- Qwen3-14B 用对学习率做 FineDNA 中训：DNA 涨分且英文不掉 — LoubnaBenAllal1 · 2026-11-01
- FineDNA 中训是 RL 生效前提：直接在 Qwen3-14B 上 RL 仅停留在随机水平 — LoubnaBenAllal1 · 2026-11-01
- 【源头】Hugging Face 团队 Carbon-X:DNA 任务超越所有开源语言模型 — LoubnaBenAllal1 · 2026-11-01
- 【源头】HF 开源 DNA 基础模型 Carbon 全家桶:数据、模型与训练配方全公开 — LoubnaBenAllal1 · 2026-11-01
- 【源头】HuggingFace 开源 FineDNA 数据集,14B 模型 DNA 基准超 GPT-6.1 — loubnabnl · 2026-11-01