Nature 论文警告：用 AI 生成数据递归训练会导致不可逆模型坍缩
solyarisoftware · x · 2026-11-05
转发讨论牛津 researchers 发表于 Nature 的「Model Collapse」研究：当模型用 AI 生成的数据递归训练时，会出现不可逆的能力退化。
要点：
- 互联网正被 AI 生成的文本、图像、代码迅速填充，而 AI 公司仍在全网抓取数据训练下一代模型
- 递归训练使模型逐渐遗忘原始数据分布的「尾部」——罕见、独特、复杂的人类语言细节完全消失
- 论文补充材料显示，各代生成数据的潜变量分布逐渐收窄向均值坍缩，与灾难性遗忘和数据中毒相关但机制不同
- 作者认为这预示互联网将成为大模型训练的「有毒废料场」
「研究」频道最新
- GorillaWatch:自监督学习实现野外大猩猩个体重识别,WACV 2026 论文 — gdm3000 · 2026-11-05
- HPI 团队 AI 系统 GorillaMonitor 获国家地理德文版报道 — gdm3000 · 2026-11-05
- Translucent 语言智能体实现自主实验工程，代码与评测全开源 — YashasGunderia · 2026-11-05
- Floridi 团队新论文:把 Agent Harness 拆成八个组件做可移植规范 — mikeflache · 2026-11-05
- Zuse：面向 27 种欧洲语言的决策模型家族，27B 版本准确率达 87.5% — kalyan_kpl · 2026-11-05
- Nielsen 提出 merge-and-split k-means 启发式，可跳出 Lloyd 局部最优 — FrnkNlsn · 2026-11-05