多项研究表明合成数据累积不会导致模型崩溃

Andrew Lampinen 连发多条帖子回应「合成数据训练导致模型崩溃」的担忧,引用 MGerstgrasser、Schaeffer 等人的新研究指出,当数据持续累积而非替换时,模型崩溃并不会发生。另有工作显示在数据受限的预训练中,合成数据能降低真实分布损失、节省 1.8 倍数据;结合 ICL 自写训练数据做增强可提升微调泛化,STaR 等自证推理方法也让模型靠自筛答案持续变强。

2026-10-14 ~ 2026-10-14 · 4 条相关