探索作为第三预训练维度：大幅提升数据与算力效率
kastnerkyle · x · 2026-08-02
Alexi Glad 提出了「探索式建模」，在传统的参数和数据之外，发现了预训练的第三个维度：探索。
核心发现如下：
- 收益随规模增长：随着数据量增加，探索带来的收益从 7% 提升至 36%；随着参数量增加，收益从 13% 提升至 23%。在 3 倍算力下，收益翻倍。
- 效率大幅提升：在接近 SOTA 的基线模型上加入探索，可使数据效率提升 6.2 倍，FLOP 效率提升 4.1 倍，参数效率提升 47%。
- 优异的生成表现：在 ImageNet 上实现了近乎 SOTA 的 1.43 无引导 FID。
该方法允许用训练算力换取泛化能力，其最简单的实现形式仅仅是一个 for 循环。
所属事件:论文提出预训练第三维度“探索”，大幅提升泛化与效率(5 条相关)→
「研究」频道最新
- Hybrid Reasoning Agents 论文:让 Agent 在潜空间思考、用文本行动 — _akhaliq · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16