探索建模：发现继参数与数据后的第三大预训练维度
YouJiacheng · x · 2026-08-02
Alexi Glad 等人提出了 Explorative Modeling（探索建模），揭示了继参数量和数据量之外的第三个预训练维度：探索。
- 核心发现：增加探索能显著提升模型表现。随着数据量、参数量和计算量的增加，探索带来的增益呈单调上升趋势。
- 效率提升：在接近 SOTA 的基线模型上引入探索，可使数据效率提升 6.2 倍，FLOP 效率提升 4.1 倍，参数效率提升 47%，并在 ImageNet 上达到 1.43 的无引导 FID。
- 技术实质：探索允许在训练阶段投入更多计算以换取更好的泛化能力，从而实现端到端的生成式建模。Zhengyang Geng 补充指出，这本质上是向每次更新中注入更丰富的计算（如训练时的深度循环迭代），遵循“训练更费力，采样更轻松”的原则。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- OpenAI 招聘变革性 AI 经济学主管，MATS 奖学金开放申请 — Astral Codex Ten · 2026-08-24
- AI 科学家有了新标尺：从“考试”转向真实发现闭环 — 量子位 · 2026-08-24
- AI 协助证明埃尔德什猜想超越性 — inductionheads · 2026-08-24
- Stanford 新法：LLM 自我验证，分数暴涨 9.3% — Saboo_Shubham_ · 2026-08-24
- 异构量子架构论文：容错计算物理量子比特需求降 138 倍 — MJBiercuk · 2026-08-24
- InfinityEdit：无限视频编辑，仅靠轻量级适配器实现 — Yunze Tong · 2026-08-24