Hugging Face 开源 DNA 语言模型 Carbon-X

Hugging Face 生物团队（Loubna Ben Allal 等）于 10 月 22 日开源发布 DNA 语言模型 Carbon-X：一个 14B 参数、首次将 DNA 序列与自然语言统一进单一模型的开放模型，已发布博客与模型权重，可本地运行。团队称这是目前最强的开源 DNA 模型，开放发布旨在让任何人研究其能力与局限，推动 AI for Biology 的开放科学。

已确认

• 构建方式：在 Qwen3-14B 基础上，用 300B tokens 的 DNA、英文及交错数据做 midtraining（继续预训练）；采用混合分词器，英文用 BPE，DNA 用 6-mer 分词，使单一模型能同时处理两种模态，可回答序列功能、突变影响等问题并直接生成新 DNA。
• 性能：在五项 DNA 理解与生成基准上超过所有受测开源语言模型，平均 66.7 分，较基座 Qwen3-14B 平均提升 27 分，追平 GPT-6.1 Sol，而推理成本低约 1000 倍以上（另一表述为约 1/1800）；最强项是突变效应预测和 DNA 序列补全。
• 训练方法学：直接对 Qwen3-14B 做纯 RL，在 FrontierVEP 上整个训练过程无法突破 50% 随机基线；从 midtraining 检查点出发再 RL 则越过随机水平并持续提升，团队据此认为 midtraining 是关键。
• Agent 用法：让 Kimi K3 将 Carbon-X 作为子 agent 咨询后，其 DNA 智能指数从 49.4% 升至 60.5%，五个基准共提升 11.1 个百分点。
• 前沿模型拒答现象：实测显示 next-base 预测任务上 Opus 5.5 得分从低推理档的 17.7% 掉到最高推理档的 1.1%，原因是推理越强拒答率越高；Gemini 4 等也出现类似趋势，团队认为这妨碍正当基因组学研究。

为什么重要

Carbon-X 以极低成本追平前沿闭源模型在 DNA 任务的表现，验证了语言模型可从 DNA 训练中获得大幅增益，也展示了 midtraining + 混合分词器的可行路线；同时揭示的前沿模型过度拒答问题，为生物学研究的开放替代方案提供了动机。

2026-10-22 ~ 2026-10-22 · 12 条相关

• 【源头】Hugging Face 发布开源 DNA 模型 Carbon-X,成本仅前沿模型 1/1800 — LoubnaBenAllal1 · 2026-10-22
• 五个 DNA 基准平均 66.7 分,Carbon-X 追平 GPT-6.1 Sol — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 五项 DNA 基准领先开源模型,较 Qwen3-14B 提升 27 分 — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 架构揭秘:混合分词器让一个模型同时懂 DNA 和英文 — LoubnaBenAllal1 · 2026-10-22
• 纯 RL 不够:Carbon-X 证明 midtraining 是突破随机基线的关键 — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 当子代理,Kimi K3 的 DNA 智能指数提升 11.1 个百分点 — LoubnaBenAllal1 · 2026-10-22
• OpenAI 研究员发布开源生物模型 Carbon-X,曝前沿模型拒答基因组请求 — LoubnaBenAllal1 · 2026-10-22
• 【源头】Carbon-X 团队实测:前沿模型推理越强,拒绝基因组学请求越多 — LoubnaBenAllal1 · 2026-10-22
• 【源头】开源 DNA 语言模型 Carbon-X 发布：14B 参数可本地运行 — loubnabnl · 2026-10-22

另有 3 条近重复转述:lvwerra · burny_tech · MaziyarPanahi