将模型视为学习型优化器：多起点重启策略在训练中的应用
YouJiacheng · x · 2026-08-04
推文探讨了将模型视为「学习型优化器」的新视角，并引入了非凸优化中常用的重启/多起点策略来优化训练过程。
- 核心思路：在训练时迭代多个样本，选取 loss 最低的样本进行反向传播。
- 理论溯源：被引用推文指出，这种沿能量景观向全局最小值梯度下降的思想，是对基于能量的模型（EBMs）相关技术（如 EBTs、V-JEPA2 等）在推理阶段应用的合成与推广，但将其前置到了训练阶段。
所属事件:探讨将强化学习视为学习型优化器的新视角(3 条相关)→
「研究」频道最新
- QuerySplat: 解耦几何与外观的 3DGS 预测新框架 — zhenjun_zhao · 2026-08-04
- UniSim-SLAM: 统一 Sim(3) 优化的前馈 SLAM 系统 — zhenjun_zhao · 2026-08-04
- 无需标定板：卷帘快门相机自标定新方法 — zhenjun_zhao · 2026-08-04
- UniqueSplat: 结合视角先验的 3DGS 泛化重建新框架 — zhenjun_zhao · 2026-08-04
- Stipple: 结合视觉惯性跟踪的实时增量 3DGS 重建 — zhenjun_zhao · 2026-08-04
- 观点：掩码语言建模是历史弯路，本可直奔自回归 — jxmnop · 2026-08-04