探索式建模：为生成模型解锁第三预训练轴
illinois · hf · 2026-07-31
当前生成模型通常将生成过程分解为多个阶段，无法实现真正的端到端训练。本研究提出了探索式建模，通过分解训练循环来解锁新的扩展维度。
该方法在每次训练中探索模型生成与真实数据之间的 K 个候选匹配，并选取最佳匹配进行训练，使预测能够精准锁定模式而非模糊处理。
主要发现与成果：
- 第三预训练轴：在现有的参数和数据扩展之外，增加“探索”可以单调提升性能。收益随规模扩大而增加，将 FLOP 效率提升 4.1 倍，样本效率提升 6.2 倍。
- 极致端到端生成：支持端到端重建式生成建模，在控制任务中媲美扩散模型的效果，但所需的推理步骤减少了 16 到 256 倍。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16
- 研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16