预训练新维度：探索式建模大幅提升数据与算力效率

tokenbender · x · 2026-08-01

研究者提出了在参数和数据之外的第三个预训练维度：探索（Exploration）。这种被称为“探索式建模”的方法，在每一步训练中生成 K 个候选样本，仅对最接近真实数据的候选者进行训练。

实验表明，扩展探索规模能单调提升模型在图像、视频和语言上的表现。该方法带来了显著的效率提升：数据效率提高 6.2 倍，FLOP 效率提高 4.1 倍，参数效率提高 47%，并在 ImageNet 上达到了 1.43 的近 SOTA 无指导 FID。