Hugging Face 开源 14B 模型 Carbon-X,用 3000 亿 DNA 语料中训练追平闭源旗舰
evijit · x · 2026-10-30
Hugging Face 研究员 evijit 接受采访时介绍了开源模型 Carbon-X 的做法与结果:
- Carbon-X 是 14B 开源模型,以 Qwen3-14B 为底座,用 3000 亿 token 的英文+DNA 混合语料做 mid-training
- 结论:要让模型变强于科学任务,现有架构和现有数据不够,RL 微调也帮不上忙,必须改预训练语料
- 在基因组学 benchmark 上,Carbon-X 以极低成本对标闭源旗舰 GPT 6.1 Sol,证明学术机构无需闭源实验室级别的资源也能做出有竞争力的科学模型
- 他同时指出:很多科学 benchmark 上闭源模型领先,开源正在掉队,值得警惕
「模型」频道最新
- 深度 AI 工作流自动化反致企业 token 月支出下降，收入饱和之辩升温 — herbiebradley · 2026-10-30
- Reddit 用户逐条驳斥 Cohere 针对开源 Qwen 模型的安全指控 — yuicebox · 2026-10-30
- Baseten 发布 joey-1 决策模型:20ms 延迟,每百万 token 仅 1 美分 — baseten · 2026-10-30
- Qwen 3.8 125B 逆向工程特化量化发布：激活能量审计定向分配比特 — jjusko20 · 2026-10-30
- KOL 交锋:Ed Zitron 被指今年新模型都没用过就唱衰 LLM — iruletheworldmo · 2026-10-30
- Altman 酒后爆料：新模型连破难题，纳维-斯托克斯证明耗费约 1000 万美元 — chrismattmann · 2026-10-30