斯坦福自博弈预训练:零真实数据让 Transformer 学会预测

StanfordAILab · x · 2026-09-27

斯坦福团队提出 Self-Play Pretraining with Zero Data:两个模型均从随机初始化开始,生成器为通用图灵机提议程序,学习器在其输出上训练,全程不使用任何真实数据。
尽管没有见过真实数据,学习器在图像、文本、音频、旋律上的 zero-shot 验证损失随自博弈算力呈可预测的 scaling 下降,并发展出 in-context learning 能力。
理论动机:Transformer 可被训练去逼近 Solomonoff 归纳(理想 next-token 预测器),因此无需接触数据也能学会预测自然数据序列。
作者称这是概念验证(poC),由 AdityaCowsik、michaelyli、KfirDolev 共同主导,合作者包括 Noah Goodman、Yoav Levine 等。

「模型」频道最新