巧用 Adam 作梯度观测器：设 betas=0、lr=ε=10⁴ 可精确反推 G
anpaure · x · 2026-10-29
anpaure 线程的起点：在同权重、同一 batch 上同时运行 Adam 与 Dimuon，把 Adam 的 betas 设为 0、lr = ε = 10,000，其更新量 ≈ −G，且反解 Adam 公式可精确恢复梯度 G。由此提出一个通用测量方法——用「Adam 梯度观测器」从 ΔW 反推 G，再预测 Dimuon 的更新，配合新观测器重复测量分歧，即可量化任意优化器对梯度施加的隐藏变换。
所属事件:开发者逆向复现 Dimuon 优化器并开源实现(5 条相关)→
「研究」频道最新
- BlackboxNLP 口头报告：知识归因探测与 CoT 可监控性 — iatitov · 2026-10-29
- Ivan Titov 将在 BlackboxNLP 讲推理后训练：学新技能还是重塑旧能力 — iatitov · 2026-10-29
- 新研究解析 Muon 优化器为何有效:正交化更新或缓解事实记忆的学习失衡 — burkov · 2026-10-29
- BlackboxNLP 明日在 EMNLP2026 布达佩斯开幕，首场聚焦 LLM 如何阅读 — gsarti_ · 2026-10-29
- QUAN 论文：四元数卷积实数化，精度更高参数更少 — Bryce Grant · 2026-10-29
- Tim Vieira 详解条件泊松抽样：带交互验证的固定大小子集分布 — xtimv · 2026-10-29