计算匹配实验：合成数据预训练始终跑不赢纯自然语言训练
LauraRuis · x · 2026-11-03
Laura Ruis 团队发布新预印本研究（由 alex 主导），系统质疑 pre-pretraining（PPT，即在预训练前用合成数据训练）的常见做法。
要点：
- 在计算匹配（compute-matched）条件下，将算力分配给 k-dyck、NCA 等合成分布的 PPT，从未优于纯自然语言训练。
- 即使在自然语言数据稀缺（仅 1 亿 token）的情况下，对自然语言语料反复跑多个 epoch，也胜过所有合成数据课程。
- 结论对「用合成数据提升预训练」这一流行范式构成直接反证。
论文附推文线程展开细节。
「研究」频道最新
- 3D World Simulator 发布：统一预测外观几何触觉，RTX 5090 上跑 50+ FPS — YunzhuLiYZ · 2026-11-03
- LeVJEPA 1.5 Large 用 1/5.6 算力逼近 V-JEPA，作者称应重视预训练损失改进 — randall_balestr · 2026-11-03
- lateinteraction:LLM 开始直接生成神经网络权重,梯度下降会被取代吗 — RichmanRonald · 2026-11-03
- UCSB 三个 ECE 项目获 IEE 种子资金，主攻能效 AI 与量子硬件 — ninamiolane · 2026-11-03
- OpenAI 在前沿模型部署激活分类器探针，从 GPT-5.6 起全量监控 — bobabowen · 2026-11-03
- Google ScientistTwo 全自动跑通科研闭环，论文评分超人类作者 — udmrzn · 2026-11-03