探索式建模:开辟第三预训练轴,最高提升 6 倍采样效率
_akhaliq · x · 2026-08-01
论文提出了探索式建模这一全新生成模型范式,可作为现有模型预训练的“第三轴”,并支持端到端生成。
实验表明,增加探索度能在图像、视频和语言任务上单调提升模型性能,且收益随规模扩大而增加(数据规模提升 7%→36%,参数规模提升 13%→23%)。
具体而言,该模型(XMs)实现了 6.2 倍的采样效率、4.1 倍的 FLOP 效率以及 47% 的参数效率提升。在控制任务上,它能媲美扩散模型,且推理计算量最多可减少至后者的 1/256。
所属事件:探索式建模:预训练第三轴,最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16
- 研究者提出 scaling laws 缺失参数 H:近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统:免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16