零数据自博弈预训练：模型从随机初始化自生成全部训练数据

inductionheads · x · 2026-09-26

斯坦福 Noah Goodman 团队转发介绍「Self-Play Pretraining with Zero Data」概念验证研究：两个模型都从随机初始化出发，生成器为一个通用图灵机提出程序，学习器则在其输出上训练，全程不使用任何真实数据。结果显示，在图像、文本、音频和旋律上的零样本验证损失随自博弈算力可预测地下降，且学习器发展出上下文学习能力。

Goodman 补充了哲学视角的训练思路：区分「普遍事实」（在所有可能世界为真）与「偶然事实」（仅在本世界为真），模型可自生成普遍事实并用于预训练。团队称这是一项有趣的概念验证，合作者包括 Kfir Dolev、Aditya Cowsik、Gabriel Bruno 等。