从随机初始化自生成全部预训练数据：Self-Play Pretraining 零数据实验
ChengleiSi · x · 2026-09-26
斯坦福等机构研究者提出 Self-Play Pretraining with Zero Data：两个模型都从随机初始化出发，生成器为一个通用图灵机提出程序，学习器在这些程序输出上训练，全程不使用任何真实数据。
主要发现：
- 随自博弈算力增加，学习器在图像、文本、音频、旋律等自然数据上的零样本验证损失呈可预测的下降
- 学习器自发发展出 in-context learning 能力
作者称这是概念验证（proof-of-concept）工作，合作者包括 Noah Goodman、Yoav Levine、Gregory Bruno 等人。该结果暗示模型理论上可以完全自举生成预训练数据，对「数据耗尽」讨论有启发意义。
所属事件:斯坦福等提出零数据自博弈预训练：两模型互搏可学出通用模式(2 条相关)→
「研究」频道最新
- SREGym 获 NeurIPS 2026 接收：为生产运维智能体补上基准空白 — tianyin_xu · 2026-09-26
- NBER 论文:计入质量与激励因素后,中国 AI 专利领先或为虚象 — avicgoldfarb · 2026-09-26
- NBER 会议开幕聚焦 AI 驱动创新:中美创新均在加速 — avicgoldfarb · 2026-09-26
- 宝可梦智能体基准 PokéAgent Challenge 入选 NeurIPS 2026 — Vjeux · 2026-09-26
- LLM 自主发现数学定理，趣味性指标提升 4.3 倍 — CatAstro_Piyush · 2026-09-26
- Claude 无监督跑数天,粒子物理散射振幅计算首破九圈纪录 — AnthropicAI · 2026-09-26