零真实数据预训练论文：生成器与学习器自博弈即可涌现 ICL 能力
CatAstro_Piyush · x · 2026-09-27
一项名为 Self-Play Pretraining with Zero Data 的概念验证研究：两个模型从随机初始化出发，生成器为通用图灵机提出程序，学习器则在程序输出上训练——全程不使用任何真实数据。
关键发现：
- 图像、文本、音频、旋律的零样本验证损失随自博弈算力可预测地下降
- 学习器发展出了上下文学习（in-context learning）能力
该工作由 michaelyli 与 AdityaCowsik、KfirDolev 共同主导，合作者包括 Noah Goodman、Yoav Levine 等。另有研究者 vaiviswanathan 尝试将类似生成器语言方法迁移到视觉/图像模型，仅 250 轮自博弈后生成器已能以不同位置、旋转和强度绘制线条与圆形。
「研究」频道最新
- UMAP 0.6 发布:300 万篇 arXiv 论文 5 分钟内完成降维 — leland_mcinnes · 2026-11-11
- Sakana AI 与 Pathway 对谈实录：后 Transformer 时代 AI 与大脑的关联 — kaixhin · 2026-11-11
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- RL 攻防双环境:训练 AI 植入后门与检测后门,收敛点成谜 — DimitrisPapail · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11