预训练第三轴：探索让模型数据效率提升6倍
teortaxesTex · x · 2026-08-02
研究提出在参数和数据之外，将「探索」(exploration) 作为预训练的第三个维度。通过简单的循环扩展探索过程，能显著提升现有模型在图像、视频和语言上的表现。
实验表明，这种方法的收益随规模扩大而增加：数据效率提升 6.2倍，FLOP 效率提升 4.1倍，参数效率提升 47%，并在 ImageNet 上达到了接近 SOTA 的 1.43 无引导 FID。该方法允许通过增加训练算力来换取泛化能力的提升。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- OpenAI 招聘变革性 AI 经济学主管，MATS 奖学金开放申请 — Astral Codex Ten · 2026-08-24
- AI 科学家有了新标尺：从“考试”转向真实发现闭环 — 量子位 · 2026-08-24
- AI 协助证明埃尔德什猜想超越性 — inductionheads · 2026-08-24
- Stanford 新法：LLM 自我验证，分数暴涨 9.3% — Saboo_Shubham_ · 2026-08-24
- 异构量子架构论文：容错计算物理量子比特需求降 138 倍 — MJBiercuk · 2026-08-24
- InfinityEdit：无限视频编辑，仅靠轻量级适配器实现 — Yunze Tong · 2026-08-24