让 Agent 训练中实时重写优化器源码，响应式优化器出世

giffmana · x · 2026-10-22

研究者提出「响应式优化器」（reactive optimizer）思路：让一个 agent 观察训练动态，并在训练进行中直接改写优化器的源代码，使优化过程能“思考和反应”而非静态执行。

作者报告：在他们试过的所有没有调好超参配方的语言与图像任务上，该方法都能追平或超过人类一次性给出的最佳配方，并能自主防范 loss spike 和过拟合。作者预测：不久之后，优化决策可能属于 agent 而非人类。论文与开源实现均已放出，可在自己的任务上试用。