斯坦福等提出零数据自博弈预训练:随机初始化模型自己生成训练数据
burny_tech · x · 2026-09-27
Stanford AI Lab 等机构推出 Self-Play Pretraining with Zero Data 概念验证研究,由 Michaël(主作者之一)联合 Aditya Cowsik、Kfir Dolev、Gregory Bruno、Noah Goodman、Yoav Levine 等人完成。
- 核心做法:两个模型从随机初始化出发——生成器为通用图灵机提出程序,学习器在这些程序的输出上训练,全程不使用任何真实数据。
- 结果:随自博弈算力增加,模型在图像、文本、音频、旋律等自然数据集上的零样本验证损失呈可预测下降;学习器还涌现出 in-context learning 能力。
- 定位:作者自称为 fun proof-of-concept,展示「预训练能否完全不依赖真实数据」的可能性。
「研究」频道最新
- UMAP 0.6 发布:300 万篇 arXiv 论文 5 分钟内完成降维 — leland_mcinnes · 2026-11-11
- Sakana AI 与 Pathway 对谈实录：后 Transformer 时代 AI 与大脑的关联 — kaixhin · 2026-11-11
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- RL 攻防双环境:训练 AI 植入后门与检测后门,收敛点成谜 — DimitrisPapail · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11