Datology 称仅靠数据策展即达成 6 倍算力等效,12B 胜 30B
pratyushmaini · x · 2026-11-17
核心结果
Datology AI 发布 Curation Studio 技术报告,声称仅通过数据策展即可获得 6 倍训练算力等效增益:在每个测试的模型规模上,用策展数据训练的模型都胜过基于最佳公开策展数据集构建的强基线。
关键数字
- +9.1 平均基准分:同一批数据集、同样 1 万亿 token 预训练、只改数据策展,完全后训练后的 30B-A3B 模型从 46.8% 提升到…… 即策展版 46.8% 对基线 37.7%。
- 12B 胜 30B:12B-A1.4B 模型仅用 4400 亿 token 策展数据(五分之一的预训练算力、不到一半的激活参数),在数学与代码综合能力上胜过 30B-A3B 基线。
方法论要点
报告强调训练 LLM 做数据研究比训练一个好模型需要更多科学控制——微小改动就可能混淆结果,因此团队对实验做了严格控制变量。
「Infra」频道最新
- 美国商务部新规:中国企业借海外数据中心远程用美芯片也需许可证 — SumitGup · 2026-11-17
- SK 海力士单日暴跌 6.17%:NAND 跌价与 AI 投资风险担忧叠加 — SumitGup · 2026-11-17
- Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍 — YouJiacheng · 2026-11-17
- OpenRouter 数据:开源模型企业 token 份额 5 个月从近零涨到 30% — pwendell · 2026-11-17
- Together AI 给出闭源转开源模型的五步迁移法 — togethercompute · 2026-11-17
- TP=1 与 TP=2 下模型初始化为何结果不同:RNG 难题实例 — ezyang · 2026-11-17