零数据预训练:两个模型自博弈生成数据,从随机初始化学到 ICL
inductionheads · x · 2026-09-26
Michael Y. Li 等人提出 Self-Play Pretraining with Zero Data:两个模型都从随机初始化开始,一个 generator 为通用图灵机提议程序,一个 learner 只用其输出训练,全程不接触任何真实数据。
- 在图像、文本、音频、旋律上的 zero-shot 验证损失随自博弈算力可预测地下降,呈现类似自然数据集的 scaling 规律
- learner 还发展出了 in-context learning 能力
- 团队称这是一个概念验证(poC),合作者包括 AdityaCowsik、KfirDolev、Greg Brockman、Noah Goodman、Yoav Levine 等
该工作展示了「模型自己生成训练数据」路径的可行性,被视为通往 universal predictor 的早期信号。
「研究」频道最新
- Sakana AI 与 Pathway 对谈实录：后 Transformer 时代 AI 与大脑的关联 — kaixhin · 2026-11-11
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- RL 攻防双环境:训练 AI 植入后门与检测后门,收敛点成谜 — DimitrisPapail · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11