数据受限预训练实证：合成数据降低真实分布损失，可省 1.8 倍数据
AndrewLampinen · x · 2026-10-14
Andrew Lampinen 引用 konwookim 的工作：在数据受限的预训练场景下，合成数据不只是「刷榜」（benchmaxxing）——随着生成更多 token，模型在真实数据分布上的损失也在下降。
进一步提升 scaling 的技巧：把合成数据当作一个连续的「megadoc」来处理，可获得 1.8 倍的数据效率，且算力越大收益越高。这为合成数据在预训练中的价值提供了量化证据。
所属事件:多项研究表明合成数据累积不会导致模型崩溃(4 条相关)→
「研究」频道最新
- 经济学家用 AI 智能体模拟发放横财访谈：一个 AI 深陷遗产规划 — soumitrashukla9 · 2026-10-14
- MoE 模型 RL 训练做到零训练-推理不一致,全套开源含消融 — yacineMTB · 2026-10-14
- 1532 例基准测试:前沿 LLM 在压力与利益冲突下更易欺骗 — lulzxdxdxd · 2026-10-14
- 把问题当程序、指标、搜索,再到开放式科学发现 — madhavsinghal_ · 2026-10-14
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- RigidFormer 入选 NeurIPS：用 Transformer 替代物理引擎模拟刚体动力学 — camenduru · 2026-10-14