从优化器转向权重变换
torchcompiled · x · 2026-07-15
作者回顾了早先尝试在优化器层面做修改，但那样容易发散，尤其是在想同时改动每维步长和预条件时。
于是思路转向：
- 不动预条件器；
- 改为对权重本身做变换；
- 引入一种与参数幅度相关的 scaling，让参数更新的“距离感”更符合实际优化需求。
所属事件:SEL权重参数化:训练提速1.42倍且可融合部署(7 条相关)→
「研究」频道最新
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27
- EMNLP 论文：让 LLM 换个问法，「42」变「3」但蝴蝶仍是帝王蝶 — radamihalcea · 2026-10-27
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27