从随机初始化自生成全部预训练数据：Self-Play Pretraining 零数据实验
ChengleiSi · x · 2026-09-26
斯坦福等机构研究者提出 Self-Play Pretraining with Zero Data：两个模型都从随机初始化出发，生成器为一个通用图灵机提出程序，学习器在这些程序输出上训练，全程不使用任何真实数据。
主要发现：
- 随自博弈算力增加，学习器在图像、文本、音频、旋律等自然数据上的零样本验证损失呈可预测的下降
- 学习器自发发展出 in-context learning 能力
作者称这是概念验证（proof-of-concept）工作，合作者包括 Noah Goodman、Yoav Levine、Gregory Bruno 等人。该结果暗示模型理论上可以完全自举生成预训练数据，对「数据耗尽」讨论有启发意义。
「研究」频道最新
- Explosion 发布 Ellf 目录：52 个 NLP 模板与多智能体标注工作流 — _inesmontani · 2026-11-11
- STABLE 优化器入选 NeurIPS 2026,从优化器层面遏制持续学习遗忘 — v_lomonaco · 2026-11-11
- 从 Bahdanau 到 FlashAttention:一图看懂注意力机制八年演进史 — cneuralnetwork · 2026-11-11
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- 数学家 Strogatz 探问：当 AI 成为「神谕」，数学将走向何方 — stevenstrogatz · 2026-11-11
- 从莱布尼茨行列式到向量空间：线性代数两百年演化一图看懂 — burny_tech · 2026-11-11