探索式建模：预训练第三轴，最高6倍采样效率提升

UIUC与哈佛等机构的研究团队提出“探索式建模”（Explorative Modeling, XM）新范式，旨在为生成模型预训练开辟除参数量和数据量之外的“第三轴”。该方法在每步训练中生成K个候选样本，仅对最佳匹配进行训练，实现了最高6倍的采样效率提升。然而，该研究随后遭到业界质疑，开发者@dejavucoder指出其核心机制本质上只是重新发明了已有的avataRL框架，其独立的创新价值仍需进一步探讨。

已确认

• 探索式建模机制：研究提出在训练期间搜索多个生成结果，探索模型生成与真实数据之间的K个候选匹配，仅选取最接近真实数据的候选者进行训练，从而在不拆分生成过程的情况下实现端到端生成，旨在解决暴露偏差和mode模糊问题。
• 性能提升：实验表明，增加探索度能在图像、视频和语言任务上单调提升模型性能，且收益随规模扩大而增加（数据规模提升范围从7%增至36%，参数规模提升13%起），最高可提升6倍采样效率。

尚未确认

• 创新独立性争议：针对探索式建模，开发者@dejavucoder吐槽称其本质上只是在重新发明avataRL。据@tokenbender介绍，avataRL是一种主张在预训练阶段引入强化学习（RL）框架的新范式，模型不再受限于交叉熵下的唯一正确答案，而是基于更灵活的机制进行训练。探索式建模是否具备实质性的独立创新价值，仍有待验证。

为什么重要

• 探索式建模与avataRL均试图打破传统交叉熵预训练的局限。如果这些新范式能够规模化落地，将有望大幅提升大模型的数据与算力效率，从而改变现有的预训练基础范式。

2026-07-31 ~ 2026-08-02 · 12 条相关

事件全程(共 3 集)→

• 第 1 集:探索式建模：预训练第三轴，最高6倍采样效率提升(2026-07-31,12 条)
• 第 2 集:论文提出预训练第三维度“探索”，大幅提升泛化与效率(2026-08-01,5 条)
• 第 3 集:哈佛与UIUC提出探索式建模，数据效率最高提升6.2倍(2026-08-03,2 条)

• 【源头】探索式建模：为生成模型解锁第三预训练轴 — illinois · 2026-07-31
• 预训练新维度：探索式建模大幅提升数据与算力效率 — tokenbender · 2026-08-01
• 放弃交叉熵？用强化学习从零预训练大模型的新范式 — tokenbender · 2026-08-01
• 【源头】新提的 Explorative Modeling？不过是重造了 avataRL 的轮子 — dejavucoder · 2026-08-01
• 【源头】探索式建模：开辟第三预训练轴，最高提升 6 倍采样效率 — _akhaliq · 2026-08-01
• 新范式 Explorative Modeling：为生成模型解锁第三预训练轴 — burny_tech · 2026-08-01
• 探索建模：发现参数与数据之外的第三大预训练维度 — sudoraohacker · 2026-08-01
• 探索式建模：解锁预训练第三轴与端到端生成 — Total-Resort-3120 · 2026-08-01
• UIUC与哈佛提出探索式建模：生成模型迎来第三根可扩展轴 — 机器之心 · 2026-08-01

另有 3 条近重复转述:shangbinfeng · YouJiacheng · teortaxesTex