Cohere等论文:合成预训练收益竟源于嵌入初始化偏差

LauraRuis · x · 2026-11-04

Cohere、UCL、MIT 研究者的论文《Rethinking Pre-Pretraining》重新审视了合成数据预训练(PPT)的价值,发现在算力匹配实验中 PPT 从未跑赢纯自然语言训练。作者在 400M LLaMA 设置中发现:仅把 token 嵌入初始化从 N(0,1) 改为 N(0,0.02),就让基线验证困惑度提升 9.0%,完全抹平了此前论文报告的 5.4% PPT 收益——说明先前研究对初始化方案极其敏感。在 NCA 元胞自动机复现中,替代训练方案同时改善两种方法,缩小差距;而若给自然语言预算追加算力,PPT 收益在小规模下仍存但到 1B token 规模即消失。结论:合成预训练作为独立训练阶段的收益有限,应重新思考此类数据的用法。