1.9 万亿 token 重写实验：合成数据在预训练中作用最有限
edwardbeeching · x · 2026-10-14
Hugging Face 团队 Joel Niklaus 等人（含 Colin Raffel、Leandro von Werra、Thomas Wolf，获 COLM 杰出论文奖）发布系统性研究，探讨如何合成高质量预训练数据：
- 生成超过 1 万亿 token、90 组实验、覆盖 1.9B 文档，系统对比重写策略、生成模型与源数据三个维度。
- 结构化输出格式（表格、数学题、FAQ、教程）持续优于精选网页基线和既有合成方法。
- 生成模型超过 1B 参数后不再带来额外收益。
- 源数据的选择与混合对性能影响显著。
- 据此构建 FinePhrase：486B token 的开源重写网页数据集，性能超越所有现有合成数据基线，生成成本最多降低 30 倍。
- 作者的反直觉结论：合成数据在预训练中反而作用最小。
论文、博客、pipeline 代码与数据集均已开源。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23