Nature 论文实证:递归用 AI 生成数据训练会致模型不可逆退化
alex_verem · x · 2026-09-18
这是前述 Model Collapse 推文引用的原始出处:Shumailov 等人 2024 年 7 月发表于 Nature(第 631 卷)的研究。论文指出,当 LLM 生成内容大量占据互联网文本后,不加甄别地用模型输出训练下一代模型会导致不可逆缺陷——原分布的尾部(稀有内容)逐渐消失,且该效应随递归代数累积恶化。论文累计访问超 81 万次、被引 878 次,并于 2025 年 3 月发布勘误。
所属事件:研究实证：递归用 AI 数据训练致模型崩溃(2 条相关)→
「研究」频道最新
- 开发者提议:用 logprobs 的 softmax 复刻 JEV 式概率判断 — ngxson · 2026-09-18
- 研究者更正：msign 在幂迭代中对 SVD 出错，但对 top-k 子空间却是对的 — YouJiacheng · 2026-09-18
- Nature 新研究:人源类器官植入无皮层小鼠,三个月占皮层体积 91.9% — ctjlewis · 2026-09-18
- Lambda 发布 EdiVal-Agent:智能体评委评估图像编辑,与人类一致率达 81.3% — TheZachMueller · 2026-09-18
- Tahoe-100M 细胞状态模型登 Cell,下载量超 60 万次 — anshulkundaje · 2026-09-18
- AlphaGenome 论文作者回应质疑:变体排序改进本身就是贡献 — anshulkundaje · 2026-09-18