Hugging Face 开源 DNA 语言模型 Carbon-X

10 月 22 日，Hugging Face 生物团队（Loubna Ben Allal 等）开源发布 DNA 语言模型 Carbon-X：一个 14B（帖子另给出 14.8B 的具体参数量）decoder-only 模型、采用 Apache 2.0 许可证，首次将 DNA 序列与自然语言统一进单一模型，博客与模型权重均已发布，可在笔记本上本地运行。团队称其为目前最强的开源 DNA 模型，在五项 DNA 基准上追平 GPT-6.1 Sol，而推理成本低约千倍；开放发布旨在让任何人研究其能力与局限，推动 AI for Biology 的开放科学。联合创始人 Clement Delangue 还借发布批评前沿实验室在生物 AI 上「广泛但肤浅」的护栏策略。

已确认

• 构建方式：在 Qwen3-14B 基础上（lvwerra 一帖表述为 Qwen3.5 14B），用 300B tokens 的 DNA、英文及交错数据做 midtraining（继续预训练）；采用混合分词器，英文用 BPE，DNA 用 6-mer 分词，文本与 DNA 共用同一 token 流，使单一模型能同时处理两种模态，可在聊天窗口直接输入原始 DNA 序列并以英语作答，回答序列功能、突变影响等问题，也能直接生成新 DNA 序列，辅助基因疗法开发。
• 性能：在五项 DNA 理解与生成基准上超过所有受测开源语言模型，平均 66.7 分，较基座 Qwen3-14B 平均提升 27 分，追平 GPT-6.1 Sol（另一表述为与其相差不到 1 分），而推理成本低 1000 倍以上（另一表述为约 1/1800）；最强项是突变效应预测和 DNA 序列补全。lvwerra 称团队以极低成本、无需蒸馏完成中期训练与后训练。
• 训练方法学：直接对 Qwen3-14B 做纯 RL，在 FrontierVEP 上整个训练过程无法突破 50% 随机基线；从 midtraining 检查点出发再 RL 则越过随机水平并持续提升，团队据此认为 midtraining 是关键。
• Agent 用法：让 Kimi K3 将 Carbon-X 作为子 agent 咨询后，其 DNA 智能指数从 49.4% 升至 60.5%，五个基准共提升 11.1 个百分点。
• 前沿模型拒答现象：实测显示 next-base 预测任务上 Opus 5.5 得分从低推理档的 17.7% 掉到最高推理档的 1.1%，原因是推理越强拒答率越高；Gemini 4 等也出现类似趋势，团队认为这妨碍正当基因组学研究。
• 外部关注：Hugging Face 高级研究科学家 Lewis Tunstall 接受 WIRED 采访，将 Carbon-X 描述为可在笔记本本地运行的「DNA 版 ChatGPT」，用户可用日常语言询问 DNA 变化对基因活性与健康的影响。

为什么重要

Carbon-X 以极低成本追平前沿闭源模型在 DNA 任务的表现，验证了语言模型可从 DNA 训练中获得大幅增益，也展示了 midtraining + 混合分词器的可行路线；同时揭示的前沿模型过度拒答问题，为生物学研究的开放替代方案提供了动机。

2026-10-22 ~ 2026-10-22 · 19 条相关

• 【源头】Hugging Face 发布开源 DNA 模型 Carbon-X,成本仅前沿模型 1/1800 — LoubnaBenAllal1 · 2026-10-22
• 五个 DNA 基准平均 66.7 分,Carbon-X 追平 GPT-6.1 Sol — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 五项 DNA 基准领先开源模型,较 Qwen3-14B 提升 27 分 — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 架构揭秘:混合分词器让一个模型同时懂 DNA 和英文 — LoubnaBenAllal1 · 2026-10-22
• 【源头】纯 RL 不够:Carbon-X 证明 midtraining 是突破随机基线的关键 — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 当子代理,Kimi K3 的 DNA 智能指数提升 11.1 个百分点 — LoubnaBenAllal1 · 2026-10-22
• OpenAI 研究员发布开源生物模型 Carbon-X,曝前沿模型拒答基因组请求 — LoubnaBenAllal1 · 2026-10-22
• Carbon-X 团队实测:前沿模型推理越强,拒绝基因组学请求越多 — LoubnaBenAllal1 · 2026-10-22
• 【源头】开源 DNA 语言模型 Carbon-X 发布：14B 参数可本地运行 — loubnabnl · 2026-10-22
• Carbon-X 开源 14.8B 模型：聊天窗口直接输入 DNA 用英语作答 — jatingargiitk · 2026-10-22
• Mistral 研究员发布开源 DNA 模型 Carbon-X:14B 中训 DNA+文本 — ATinyGreenCell · 2026-10-22
• Hugging Face 发布开源模型 Carbon-X,基于 Qwen3-14B 实现用自然语言「与 DNA 对话」 — _lewtun · 2026-10-22
• Hugging Face 科学家亲述 Carbon-X:能在笔记本上本地运行的「DNA 版 ChatGPT」 — _lewtun · 2026-10-22
• Hugging Face 用 Qwen3-14B 训出开源 DNA 模型 Carbon-X，喊话开放生物 AI — huggingface · 2026-10-22
• 团队用 Qwen3.5 14B 中期训练追平前沿模型，还能「和 DNA 对话」 — lvwerra · 2026-10-22

另有 4 条近重复转述:lvwerra · burny_tech · MaziyarPanahi · lvwerra