ICML论文提出预训练新轴「探索」，数据效率提升6倍
teortaxesTex · x · 2026-08-02
研究者在参数和数据之外，发现了第三个预训练维度：探索（exploration）。
- 核心方法：对每个数据点采样时间步并生成多个带噪潜变量，仅对损失最小的样本进行反向传播。
- 显著效果：将探索应用于接近SOTA的基线模型，可使数据效率提升6.2倍，FLOP效率提升4.1倍，参数效率提升47%。
- 扩展性：随着数据量和参数量的增加，探索带来的收益持续扩大。该方法允许用训练算力换取泛化能力，并支持端到端生成。
所属事件:论文提出预训练第三维度“探索”，大幅提升泛化与效率(5 条相关)→
「研究」频道最新
- 高斯混合模型与指数族密度逼近转换 — FrnkNlsn · 2026-08-24
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Nature 评论：数据溯源是自主科学的信任基石 — gabepgomes · 2026-08-24
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24
- Claude 助手发现 6 维球复结构，解 60 年数学难题 — Singularitarian · 2026-08-24