EPFL 团队发布 OPAL:Agent 在环的反应式训练优化器
EPFL 学者 Vincent Sitzmann 团队(成员包括 @SimulatedAnneal、@jaydenteoh、Jia-Hao Liang)发布 OPAL(OPtimizer with an Agent in the Loop):一个 PyTorch 优化器包装器,让 Claude Code 等编码 Agent 在训练进行中持续监控并即时干预。作者的核心判断是,预先选定优化器和学习率调度、跑完全程不再调整的时代可能结束。配套讨论还指出当前多数 autoresearch 只是「高级过拟合」——所谓最优配方往往只在单一设置下有效、难以跨数据集或语言迁移,团队因此转向 inner-loop autoresearch,让优化过程在训练中持续自适应。
已确认
- OPAL 能自动检测训练中的 loss spike 并将其清零压制,之后持续防范同类 spike(m1、m5)
- 演示显示 Agent 发现优化步越过最小值后,会回滚若干步并重置动量,随后继续监控;实验包括在 CIFAR-10 上训练 ResNet 的抗数据腐蚀测试,表现领先(m4、m5)
- OPAL 可在训练中实时重写优化器源码,并自动设计高度精细的学习率调度;作者称这类调度过去通常只有 DeepSeek 等最高优先级、极晚期训练才负担得起,现在普通用户也能获得同等甚至更高的精细度(m2、m3、m7)
- 团队已将概念打包并公开相关写作(m6)
为什么重要
优化器与学习率调度历来是深度学习训练中最依赖人工经验与算力预算的环节。OPAL 把 Agent 引入训练循环,使「反应式」优化——全程盯防、即时干预——成为通用能力,若效果如作者所述,将显著降低高质量调度的获取门槛,并改变训练流程的自动化程度。目前信息主要来自作者自述与演示,后续需关注独立复现与更大规模训练上的验证。
2026-10-22 ~ 2026-10-22 · 8 条相关
一手来源
- OPAL 让编码 Agent 训练中实时重写优化器,作者称手调时代结束 — vincesitzmann ·
- OPAL 优化器自动识别并压制 loss spike,抗数据腐蚀测试领先 — vincesitzmann ·
- OPAL 发布:循环内放 Agent 的优化器，研究团队公开概念包与写作 — kingslyj ·
- OPAL 演示:发现训练越过最小值,重置动量并回滚 — vincesitzmann · 2026-10-22
- 【源头】OPAL 优化器自动识别并压制 loss spike,抗数据腐蚀测试领先 — vincesitzmann · 2026-10-22
- OPAL 自动设计学习率调度,复杂度比肩 DeepSeek 手调方案 — vincesitzmann · 2026-10-22
- 【源头】OPAL 让编码 Agent 训练中实时重写优化器,作者称手调时代结束 — vincesitzmann · 2026-10-22
- Sitzmann 团队推出 OPAL：智能体在环的反应式训练优化器 — vincesitzmann · 2026-10-22
- 【源头】OPAL 发布:循环内放 Agent 的优化器，研究团队公开概念包与写作 — kingslyj · 2026-10-22
- 研究者发 OPAL：让 agent 训练中实时重写优化器源码 — vincesitzmann · 2026-10-22
另有 1 条近重复转述:vincesitzmann