斯坦福等提出零数据自博弈预训练:两模型互搏可学出通用模式
斯坦福等机构研究者提出 Self-Play Pretraining with Zero Data:两个模型均从随机初始化出发,生成器为通用图灵机编写程序产生字节序列,学习器学习预测这些序列,生成器再不断产出能促使学习器进步的序列。实验显示,仅在这些自生成序列上训练,模型也能学出通用模式,完全无需真实世界数据。
2026-09-25 ~ 2026-09-26 · 2 条相关
- 零真实数据训练出新研究:两个模型互搏也能学出通用模式 — mark_k · 2026-09-25
- 从随机初始化自生成全部预训练数据:Self-Play Pretraining 零数据实验 — ChengleiSi · 2026-09-26