Frank Nielsen 等发表新论文:用形变对数统一 Mirror Descent 优化方法
FrnkNlsn · x · 2026-10-20
Frank Nielsen(与 Andrzej Cichocki、Toshihisa Tanaka、Sergio Cruces 合作)发表期刊论文《Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms》,并附技术报告。
论文基于形变对数定义的 trace-form 熵,导出一大类 Mirror Descent(MD)与广义指数梯度(GEG)算法:
- 改善收敛行为,对梯度消失/爆炸更鲁棒,可通过 mirror map 适配非欧几何
- 揭示这些方法与 Amari 自然梯度之间的深层联系,为加法、乘法与自然梯度更新给出统一的信息几何基础
- 针对 Tsallis、Kaniadakis、Sharma–Taneja–Mittal、Kaniadakis–Lissia–Scarfone 等熵族,证明每种熵在参数空间诱导不同的 Riemannian 度量,得到保持自然统计几何的 GEG 算法
- 形变对数的可调参数支持自适应几何选择,比经典欧氏优化更鲁棒
整体框架用广义 Bregman 散度把一阶 MD 优化方法统一到单一信息几何视角下:熵的选择决定底层度量与对偶几何结构。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23