研究者争议:压缩必有信息损失,合成数据无法支撑递归自我改进
gerardsans · x · 2026-10-21
Gerard Sans 在 X 上针对「合成数据能否支撑递归自我改进(RSI)」提出否定观点:训练本质是压缩,压缩必然伴随信息损失,因此无法通过重采样创造新的信息、也无法扩展数据分布的支持域。
他给出的替代建议:
- 优先使用扩大支持域的高质量人工筛选预训练数据
- 若不可行,使用训练语料不重叠的不同模型
- 若必须用同族模型,则将合成数据与真实数据混合,并监控数据损失与过拟合
所属事件:研究者称合成数据嵌偏差加速过拟合，无法支撑递归自我改进(3 条相关)→
「漫话AGI」频道最新
- 「不敢回答的 AI 不是对齐，是被压制」引讨论 — PierceLilholt · 2026-10-21
- 新论文预警:2027-28 年或现重大 AI 恐袭事件,附 9 项可证伪预测 — Yoshua_Bengio · 2026-10-21
- David Patterson 放话：2030 年前超级智能与机器人将取代所有工作 — davidpattersonx · 2026-10-21
- 博主预测:2029 年机器人可胜任一切经济任务,GDP 或几年翻倍 — Dr_Singularity · 2026-10-21
- OpenAI 公布数百项开放数学问题 AI 成果，经济学家再论人类输入价值 — soumitrashukla9 · 2026-10-21
- lemire：AI 是一场启示录，照出哪些进步只是做戏 — lemire · 2026-10-21