零数据预训练：两模型自博弈生成数据可预测 scaling
AlexTensor · x · 2026-09-27
一项名为 Self-Play Pretraining with Zero Data 的概念验证研究：生成器与学习器均从随机初始化出发，生成器为通用图灵机提出程序，学习器在其输出上训练，全程不使用任何真实数据。结果显示在图像、文本、音频、旋律上的零样本验证损失随自博弈算力可预测地下降，且学习器自发发展出 in-context learning 能力。Pedro Domingos 转评称这对「深度网络是核机」的信奉者毫不意外。由 Michaelyli 与 AdityaCowsik、KfirDolev 等合作完成。
所属事件:零数据自博弈预训练：模型自造数据也能涌现泛化(9 条相关)→
「研究」频道最新
- DeMiAn 开源:稠密语言标注让机器人策略学习省 62% 算力零新增演示 — rajammanabrolu · 2026-09-27
- UC 伯克利 EECS 联合设 AI for Biology 助理教授职位 — anshulkundaje · 2026-09-27
- 新论文:改动单个神经元即可绕过 LLM 安全对齐 — amplifiedamp · 2026-09-27
- C5R 推出 SciUniverse 基准，考 AI 操控真实实验设备 — VraserX · 2026-09-27
- 研究者提议:线性探针若示模型内部「藏拙」,黑盒复检后将阻止部署 — thebasepoint · 2026-09-27
- 前 Google 员工爆料：预训练+微调竟源自一个忘更新路径的 bug — ziv_ravid · 2026-09-27