探索建模：发现参数与数据之外的第三大预训练维度
sudoraohacker · x · 2026-08-01
Laude Institute 等团队提出 Explorative Modeling（探索建模），在传统的参数量和数据量之外，发现了第三种预训练扩展维度：探索（exploration）。
核心机制极其简单，只需在训练中增加一个 for 循环，但展现出极强的泛化能力：
- 跨模态增益：在视频、图像和文本等多种模态的模型上均观察到显著提升。
- 收益随规模扩大：随着数据量、参数量和计算量的增加，探索带来的性能收益呈单调上升趋势。
- 效率大幅提升：在接近 SOTA 的基线模型上，探索机制将数据效率提升了 6.2 倍，FLOP 效率提升 4.1 倍，参数效率提升 47%，并在 ImageNet 上取得了 1.43 的无引导 FID。
所属事件:探索式建模开辟预训练第三轴，被指重造avataRL轮子(8 条相关)→
「研究」频道最新
- 机器人化身科学家：LabEvolver 让实验成功率升至 91% — imjustnewatai · 2026-08-01
- 困扰学者两年的数学猜想，AI 数分钟写出严谨证明 — abeirami · 2026-08-01
- 开发者开源 Bug 搜寻基准:实测大模型查 Bug 能力 — PawelHuryn · 2026-08-01
- AI 制药瓶颈在数据而非模型，行业预期将迎转折 — MatthewMcAteer0 · 2026-08-01
- 研究：科学文献上下文难提升 LLM 行为预测 — duncanjwatts · 2026-08-01
- Bittensor子网Minos联合OpenAI发布基因组AI合成数据生成器 — markjeffrey · 2026-08-01