研究质疑合成数据预训练：计算匹配下始终不敌自然语言

Cohere、UCL、MIT 研究者（Laura Ruis 团队，alex 主导）发布预印本《Rethinking Pre-Pretraining》，系统审视在预训练前先用合成数据训练（PPT）的做法。在算力匹配的实验中，PPT 从未跑赢纯自然语言训练；论文进一步指出，合成预训练看似带来的收益实际源于嵌入初始化偏差，而非合成数据本身的价值，这一结论对业界常见的 pre-pretraining 流程提出质疑。

2026-11-03 ~ 2026-11-04 · 2 条相关