零数据自博弈预训练：模型从随机初始化自己生成全部训练数据

burny_tech · x · 2026-09-27

一项名为 Self-Play Pretraining with Zero Data 的概念验证研究：两个模型都从随机初始化开始，生成器为通用图灵机提议程序，学习器在其输出上训练——全程不使用任何真实数据。结果显示验证损失随自博弈算力可预测地下降，且跨图像、文本、音频和旋律的 zero-shot 表现同步改善，学习器还发展出了上下文学习能力（in-context learning）。

转发者评价：机器学习的进展一直受限于我们是否有胆量提出那些「看起来绝不可能work」的蠢想法并动手测试。研究由 Stanford 团队牵头，合作者包括 Noah Goodman、Yoav Levine 等。