Hugging Face Open-Sources Carbon-X, a 14B DNA-Language Model
Hugging Face 生物团队（Loubna Ben Allal 等）于 10 月 22 日开源发布 DNA 语言模型 Carbon-X：一个 14B 参数、首次将 DNA 序列与自然语言统一进单一模型的开放模型，已发布博客与模型权重，可本地运行。团队称这是目前最强的开源 DNA 模型，开放发布旨在让任何人研究其能力与局限，推动 AI for Biology 的开放科学。
已确认
- 构建方式：在 Qwen3-14B 基础上，用 300B tokens 的 DNA、英文及交错数据做 midtraining（继续预训练）；采用混合分词器，英文用 BPE，DNA 用 6-mer 分词，使单一模型能同时处理两种模态，可回答序列功能、突变影响等问题并直接生成新 DNA。
- 性能：在五项 DNA 理解与生成基准上超过所有受测开源语言模型，平均 66.7 分，较基座 Qwen3-14B 平均提升 27 分，追平 GPT-6.1 Sol，而推理成本低约 1000 倍以上（另一表述为约 1/1800）；最强项是突变效应预测和 DNA 序列补全。
- 训练方法学：直接对 Qwen3-14B 做纯 RL，在 FrontierVEP 上整个训练过程无法突破 50% 随机基线；从 midtraining 检查点出发再 RL 则越过随机水平并持续提升，团队据此认为 midtraining 是关键。
- Agent 用法：让 Kimi K3 将 Carbon-X 作为子 agent 咨询后，其 DNA 智能指数从 49.4% 升至 60.5%，五个基准共提升 11.1 个百分点。
- 前沿模型拒答现象：实测显示 next-base 预测任务上 Opus 5.5 得分从低推理档的 17.7% 掉到最高推理档的 1.1%，原因是推理越强拒答率越高；Gemini 4 等也出现类似趋势，团队认为这妨碍正当基因组学研究。
为什么重要
Carbon-X 以极低成本追平前沿闭源模型在 DNA 任务的表现，验证了语言模型可从 DNA 训练中获得大幅增益，也展示了 midtraining + 混合分词器的可行路线；同时揭示的前沿模型过度拒答问题，为生物学研究的开放替代方案提供了动机。
2026-10-22 ~ 2026-10-22 · 12 related posts
Primary sources
- Hugging Face releases open DNA model Carbon-X, matching GPT-6.1 Sol at 1/1800 the cost — LoubnaBenAllal1 ·
- Carbon-X: Open 14B DNA Language Model Beats Open Rivals, Runs Locally via llama.cpp — loubnabnl ·
- Frontier models refuse more genomics requests as reasoning effort rises, Carbon-X team finds — LoubnaBenAllal1 ·
- [source] Hugging Face releases open DNA model Carbon-X, matching GPT-6.1 Sol at 1/1800 the cost — LoubnaBenAllal1 · 2026-10-22
- Carbon-X averages 66.7 across five DNA benchmarks, closing in on GPT-6.1 Sol — LoubnaBenAllal1 · 2026-10-22
- Carbon-X beats all open LLMs on five DNA benchmarks, +27 points over Qwen3-14B — LoubnaBenAllal1 · 2026-10-22
- How Carbon-X was built: hybrid BPE + 6-mer tokenizer over 300B DNA-text tokens — LoubnaBenAllal1 · 2026-10-22
- RL alone stalls at chance: Carbon-X shows midtraining unlocks gains RL can't — LoubnaBenAllal1 · 2026-10-22
- Carbon-X as a sub-agent lifts Kimi K3's DNA intelligence index by 11.1 points — LoubnaBenAllal1 · 2026-10-22
- Open-sourced Carbon-X DNA model exposes frontier LLM refusals: Opus 5.5 drops 17.7% to 1.1% on genomics — LoubnaBenAllal1 · 2026-10-22
- [source] Frontier models refuse more genomics requests as reasoning effort rises, Carbon-X team finds — LoubnaBenAllal1 · 2026-10-22
- [source] Carbon-X: Open 14B DNA Language Model Beats Open Rivals, Runs Locally via llama.cpp — loubnabnl · 2026-10-22
3 near-duplicate retellings: lvwerra · burny_tech · MaziyarPanahi