零人类数据预训练：自博弈字节序列也能涌现 in-context learning
burny_tech · x · 2026-09-27
论文《Self-Play Pretraining with Zero Data》（Cowsik、Dolev、Li、De Luca、Cohen、Goodman、Levine 等，斯坦福团队）提出完全不使用人类数据的预训练方法：模型通过在自生成的字节序列上自博弈来训练。核心发现：
- 在合成自博弈数据上预训练的模型，在自然数据集上表现出可预测的 zero-shot scaling 和 in-context learning
- 说明基础能力可以纯靠计算中发现可计算结构而涌现，无需人类数据即可迁移
作者认为这一结果会改变我们对合成数据、课程学习以及预训练表征驱动因素的根本看法。被 arXivBangers 评为高分论文（编辑分 86/100）。
「研究」频道最新
- UMAP 0.6 发布:300 万篇 arXiv 论文 5 分钟内完成降维 — leland_mcinnes · 2026-11-11
- Sakana AI 与 Pathway 对谈实录：后 Transformer 时代 AI 与大脑的关联 — kaixhin · 2026-11-11
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- RL 攻防双环境:训练 AI 植入后门与检测后门,收敛点成谜 — DimitrisPapail · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11