ICML论文提出预训练新轴「探索」，数据效率提升6倍
teortaxesTex · x · 2026-08-02
研究者在参数和数据之外，发现了第三个预训练维度：探索（exploration）。
- 核心方法：对每个数据点采样时间步并生成多个带噪潜变量，仅对损失最小的样本进行反向传播。
- 显著效果：将探索应用于接近SOTA的基线模型，可使数据效率提升6.2倍，FLOP效率提升4.1倍，参数效率提升47%。
- 扩展性：随着数据量和参数量的增加，探索带来的收益持续扩大。该方法允许用训练算力换取泛化能力，并支持端到端生成。
所属事件:论文提出预训练第三维度“探索”，大幅提升泛化与效率(5 条相关)→
「研究」频道最新
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- UNSW 提出 EDEN：嵌入空间锚定噪声增强 LLM RLVR 探索 — Daijiao Liu · 2026-10-16
- 自动驾驶团队演示窄路僵局：车辆学会倒车让行，并自制机械臂换挡测试 — sanjeevs_iitr · 2026-10-16
- Yoav Artzi 谈顶会评审：投稿洪流仍在加大，中位段论文评审随机性最高 — yoavartzi · 2026-10-16