OPAL 优化器自动识别并压制 loss spike,抗数据腐蚀测试领先
vincesitzmann · x · 2026-10-22
Vince Sitzmann 展示 OPAL 优化器的实验：它能检测到训练中的 loss spike 并自动清零抑制，之后还会持续防范同类 spike，甚至在冲过最优点时回退几步并重置动量。配图是在 CIFAR-10 上训练 ResNet-18、人为插入四段随机数据腐蚀的对比：OPAL 在四次腐蚀后的测试精度变化分别为 -50.0、-66.3、-12.1、+0.7，明显好于 Muon+clip、Muon、AdamW+clip、AdamW 和 Stable-SPAM 等基线，表明这种反应式 agent 在见过几次腐蚀后就能学会防御。
所属事件:EPFL 团队发布 OPAL:Agent 在环的反应式训练优化器(8 条相关)→
「研究」频道最新
- 斯坦福 NLP 团队发现模型推理迹避开空白符，或自造 CoT 语言 — stanfordnlp · 2026-10-22
- SGLang 团队用 TPU + TorchTitan 跑早期 RL 训练，结果令人鼓舞 — ying11231 · 2026-10-22
- Rohan Paul 推荐阅读 Recursive Flint 完整技术报告 — rohanpaul_ai · 2026-10-22
- ICML 论文揭提示注入本质：CoT 伪造攻击对前沿模型成功率 60% — ChrisGPotts · 2026-10-22
- NVIDIA 联手 Benchling 后训练 Nemotron，低成本超越闭源模型助科研 — NVIDIAAI · 2026-10-22
- BabyLM 挑战赛第四届回归 EMNLP 2026，新增英中荷多语言赛道 — LChoshen · 2026-10-22