MIT 推出 OPAL:AI agent 在训练中实时重写优化器源码
MIT_CSAIL · x · 2026-11-03
MIT CSAIL 研究者(Xingjian Bai、Jia-Hao Liang、Jayden Teoh、Vincent Sitzmann)发布 OPAL(Reactive Optimizers)项目:把一个 AI agent 放进优化器核心,让它观察训练动态并在训练过程中持续重写优化器自身的源代码。
关键点:
- 传统优化器的策略(自适应步长、preconditioning、调度等)在训练开始前就完全固定;OPAL 让优化器可以"反应式"地应对意外情况,如 loss spike、梯度震荡、训练停滞
- 在没有为任务调优过配方时,OPAL 在视觉与语言任务上匹配或超过可挑选的最好现成配方
- agent 会自发涌现出复杂的调度策略,如防止 loss spike、逃离过拟合
- 已开源 OPAL 包,论文见 arXiv:2610.33826,可直接在自己的训练中试用
「研究」频道最新
- Apple 推出 iPrefBench:130 项欠指定任务评测个人 agent 的提问分寸 — hhsun1 · 2026-11-03
- NeurIPS 论文系统研究:低资源视频任务该把时序上下文放在哪一层 — HildeKuehne · 2026-11-03
- 新方法 CRoS：用打乱思维链检验因果性，忠实度提升 13.8% — mohitban47 · 2026-11-03
- 耶鲁团队开源 Claude 绘图 skill：Opus 直出论文级示意图 — CatAstro_Piyush · 2026-11-03
- EMNLP 可解释性教程幻灯片开源,新人专家皆宜 — PMinervini · 2026-11-03
- NVIDIA 开源在即:LucidLyra 单图生成可查询 3D 高斯场景 — CSProfKGD · 2026-11-03