专题 · FULL STORY

哈佛与UIUC提出预训练新范式探索式建模

哈佛与UIUC等机构提出预训练第三维度“探索式建模”。该机制在参数与数据外引入探索，仅用for循环即可大幅提升模型泛化能力，数据效率最高提升6.2倍。

2026-07-31 ~ 2026-08-04 · 3 集 · 19 条

第 1 集 · 探索式建模：预训练第三轴，最高6倍采样效率提升(2026-07-31,12 条)

UIUC与哈佛等机构的研究团队提出“探索式建模”（Explorative Modeling, XM）新范式，旨在为生成模型预训练开辟除参数量和数据量之外的“第三轴”。该方法在每步训练中生成K个候选样本，仅对最佳匹配进行训练，实现了最高6倍的采样效率提升。然而，该研究随后遭到业界质疑，开发者@dejavucoder指出其核心机制本质上只是重新发明了已有的avataRL框架，其独立的创新价值仍需进一步探讨。

已确认

  • 探索式建模机制：研究提出在训练期间搜索多个生成结果，探索模型生成与真实数据之间的K个候选匹配，仅选取最接近真实数据的候选者进行训练，从而在不拆分生成过程的情况下实现端到端生成，旨在解决暴露偏差和mode模糊问题。
  • 性能提升：实验表明，增加探索度能在图像、视频和语言任务上单调提升模型性能，且收益随规模扩大而增加（数据规模提升范围从7%增至36%，参数规模提升13%起），最高可提升6倍采样效率。

尚未确认

  • 创新独立性争议：针对探索式建模，开发者@dejavucoder吐槽称其本质上只是在重新发明avataRL。据@tokenbender介绍，avataRL是一种主张在预训练阶段引入强化学习（RL）框架的新范式，模型不再受限于交叉熵下的唯一正确答案，而是基于更灵活的机制进行训练。探索式建模是否具备实质性的独立创新价值，仍有待验证。

为什么重要

  • 探索式建模与avataRL均试图打破传统交叉熵预训练的局限。如果这些新范式能够规模化落地，将有望大幅提升大模型的数据与算力效率，从而改变现有的预训练基础范式。

第 2 集 · 论文提出预训练第三维度“探索”，大幅提升泛化与效率(2026-08-01,5 条)

近期发表的预印本论文《Why the Third Axis Is Weakness》提出，在传统的参数量和数据量之外，AI预训练模型存在第三个维度：探索。该机制通过改变传统的单样本反向传播逻辑，旨在最大化模型的泛化能力并大幅提升算力与数据效率。

已确认

  • 核心机制：在预训练过程中，对每个数据点采样时间步并生成多个带噪潜变量，随后仅对损失最小的样本进行反向传播。
  • 效率提升：将探索机制应用于接近SOTA的模型，能显著提升数据效率，最高可达6倍。
  • 收益随规模增长：随着数据量增加，探索带来的收益从7%提升至36%；随着参数量增加，收益从13%提升。
  • 多模态表现：增加探索可以单调地改善现有模型在图像、视频和语言任务上的表现，并解锁端到端生成能力。

为什么重要

  • 传统单样本训练无法区分模型是仅仅记住了单一输出，还是真正掌握了完整的数据分布。作者 Michael Timothy Bennett 指出，引入探索机制（即选择“最弱假设”）正是解决这一瓶颈、提升泛化能力的关键。这为AI预训练的缩放定律提供了全新的理论框架与实践路径。

第 3 集 · 哈佛与UIUC提出探索式建模，数据效率最高提升6.2倍(2026-08-03,2 条)

哈佛大学与UIUC的研究人员提出了被称为“第三预训练维度”的探索式建模。该方法在传统的参数和数据之外引入探索机制，其最简形式仅为一个for循环。研究表明，该机制能显著提升模型在图像、视频和语言任务上的表现，且数据效率最高可提升6.2倍。