Muon 去水印不够，需配合分层学习率
willdepue · x · 2026-07-14
讨论一项关于**去水印/扰动模型**的实验结论： - 仅用 **Muon** 似乎**不足以完全擦除 watermark**。 - 将 **Muon** 与 **Modula 的分层学习率**结合后，效果更接近“擦除”目标。 - 但作者也指出：**Modula 在非玩具问题上表现不佳**，因此这个组合在真实任务里未必可靠。 整体是在说：某些优化方法对模型参数/痕迹的破坏能力更强，但离稳定、通用的水印清除方案还有距离。