预训练新维度：探索性建模大幅提升生成效率
shangbinfeng · x · 2026-08-01
研究团队提出了一种名为「探索性建模」的新方法，通过在训练期间搜索多个生成结果并从中学习最匹配训练样本的生成路径，为生成模型解锁了除数据量和模型大小之外的第三种缩放维度。
- 性能提升：随着计算规模扩大，探索带来的收益也随之增加。在算力增加 3 倍时，性能收益翻倍。
- 效率优化：在接近 SOTA 的基线上，该方法将数据效率提升了 6.2 倍，FLOP 效率提升 4.1 倍，参数效率提升 47%，并在 ImageNet 上取得了 1.43 的无引导 FID 成绩。
- 核心机制：允许模型通过增加训练算力来换取泛化能力的提升。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16
- 研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16