斯坦福等提出零数据自博弈预训练

斯坦福 Noah Goodman 团队与特拉维夫大学等机构的研究者（Michael Y. Li 等，作者还包括 Cowsik、Dolev、De Luca、Cohen、Goodman、Levine）提出「Self-Play Pretraining with Zero Data（SPP，零数据自博弈预训练）」的概念验证研究：两个模型均从随机初始化出发，其中一个生成器为通用图灵机提议程序、输出字节序列，另一个学习器仅在这些程序输出上训练；生成器随后不断生成能促使学习器进步的序列，全程不使用任何真实世界数据。当前结论是：仅靠自生成数据训练，学习模型随算力增加在多种自然数据预测任务上表现出可预测的提升，并涌现出上下文学习（ICL）能力。

已确认

• 训练完全零真实数据：学习器只看自生成的字节序列，不接触任何自然数据集或人工筛选语料。
• 核心发现：随自博弈算力增加，学习模型在预测真实文本、图像、语音、音频、旋律等自然数据上的能力随之提升，验证损失随算力可预测地下降，scaling 表现可预测。
• 模型在纯自生成数据训练后涌现出上下文学习（ICL）能力。

为什么重要

• 该实验挑战了「预训练必须依赖大规模自然语料」的默认假设，展示了计算与自博弈机制本身可能催生对自然数据可迁移的统计结构。
• 作为概念验证，它为数据来源受限场景下的模型训练提供了新思路，也引出关于数据、算力与学习之间关系的基础性问题。

目前该工作仍处于概念验证阶段，规模化路径与效果上限尚待后续验证。

2026-09-25 ~ 2026-09-27 · 14 条相关

• 【源头】零真实数据训练出新研究:两个模型互搏也能学出通用模式 — mark_k · 2026-09-25
• 从随机初始化自生成全部预训练数据：Self-Play Pretraining 零数据实验 — ChengleiSi · 2026-09-26
• 零数据自博弈预训练：模型自造数据也能涌现泛化 — burny_tech · 2026-09-27
• 零人类数据预训练：自博弈字节序列也能涌现 in-context learning — burny_tech · 2026-09-27
• 斯坦福自博弈预训练:零真实数据让 Transformer 学会预测 — StanfordAILab · 2026-09-27

另有 9 条近重复转述:inductionheads · ctjlewis · inductionheads · AlexTensor · burny_tech · burny_tech · burny_tech · burny_tech · CatAstro_Piyush