研究者称合成数据嵌偏差加速过拟合，无法支撑递归自我改进

Gerard Sans 在回应 Ramez 对合成数据问题的质疑时提出技术性论断：合成数据是推理过程的产物，嵌入了训练语料的内生偏差，用于微调会加速过拟合，属于严格意义上的信息损失，最终导致模式坍缩。他还认为训练本质是压缩，压缩必然伴随信息损失，因此无法通过重采样创造新信息或扩展数据分布，合成数据无法支撑递归自我改进（RSI）。

2026-10-21 ~ 2026-10-21 · 3 条相关