预训练第三轴：探索让模型数据效率提升6倍
teortaxesTex · x · 2026-08-02
研究提出在参数和数据之外，将「探索」(exploration) 作为预训练的第三个维度。通过简单的循环扩展探索过程，能显著提升现有模型在图像、视频和语言上的表现。
实验表明，这种方法的收益随规模扩大而增加：数据效率提升 6.2倍，FLOP 效率提升 4.1倍，参数效率提升 47%，并在 ImageNet 上达到了接近 SOTA 的 1.43 无引导 FID。该方法允许通过增加训练算力来换取泛化能力的提升。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- 研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16