探索性建模：发现参数与数据之外的第三预训练轴
burny_tech · x · 2026-08-03
Alexi Glad 提出了在参数和数据之外的第三个预训练维度：探索（Exploration）。
- 核心发现：增加探索可以单调地改善现有模型在图像、视频和语言任务上的表现，并解锁端到端生成能力。在最简单的情况下，这仅相当于一个 for 循环。
- 收益随规模增长：随着数据规模扩大，收益从 7% 增长至 36%；随着参数扩大，从 13% 增至 23%。在 3 倍算力下，收益甚至翻倍。
- 效率提升：在接近 SOTA 的基线上加入探索，可使数据效率提升 6.2 倍，FLOP 效率提升 4.1 倍，参数效率提升 47%，并在 ImageNet 上达到接近 SOTA 的 1.43 无引导 FID。
开发者 @cgarciae88 测试后表示该方法确实有效，但也观察到在某些二维示例中，生成分布的形状虽然匹配，但平滑度有所下降，多样性可能受到一定影响。
所属事件:论文提出预训练第三维度“探索”，大幅提升泛化与效率(5 条相关)→
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16