零数据预训练:两个模型自博弈生成数据,从随机初始化学到 ICL
inductionheads · x · 2026-09-26
Michael Y. Li 等人提出 Self-Play Pretraining with Zero Data:两个模型都从随机初始化开始,一个 generator 为通用图灵机提议程序,一个 learner 只用其输出训练,全程不接触任何真实数据。
- 在图像、文本、音频、旋律上的 zero-shot 验证损失随自博弈算力可预测地下降,呈现类似自然数据集的 scaling 规律
- learner 还发展出了 in-context learning 能力
- 团队称这是一个概念验证(poC),合作者包括 AdityaCowsik、KfirDolev、Greg Brockman、Noah Goodman、Yoav Levine 等
该工作展示了「模型自己生成训练数据」路径的可行性,被视为通往 universal predictor 的早期信号。
「研究」频道最新
- 260M 参数开源生图模型 Agate 性能逼近 SD 1.5,附 ComfyUI 节点 — incorporo · 2026-09-26
- 日本旧书店销量暴涨 5 倍:50 吨旧书被买走送美 AI 扫描后销毁 — stayndarsh · 2026-09-26
- Places Library 发布:100 个面向具身 AI 的高保真真实世界 3D 环境 — yshan2u · 2026-09-26
- AI 文本能藏多少水印信号?开发者手工推导绿名单水印数学极限 — OtherwisePush6424 · 2026-09-26
- LISA 论文:用 LLM 提示生成文体标注数据,训练可解释风格嵌入 — deliprao · 2026-09-26
- BindCraft 2 上消费级 GPU 跑蛋白质设计，每条轨迹仅 2 美分 — iskander · 2026-09-26