新论文揭示高斯变分推理动量加速的成立条件与理论极限
ErnestRyu · x · 2026-10-19
stat.ML 新论文《Acceleration and its Limits in Gaussian Variational Inference》（Jaesung R. Park、Uijeong Jang、Yifan Chen）研究了动量加速能否从经典优化推广到高斯变分推理（GVI）：
- 在强凸平滑目标上，动量法可将梯度下降对条件数 κ 的依赖从 κ 降到 √κ；论文问这在强 log-凹、log-平滑目标分布的 GVI 中是否同样成立。
- 正面结果：当高斯期望可精确计算时，GVI 的凸复合形式可实现经典的 √κ 加速收敛率。
- 负面结果：若只能获取逐点导数，作者构造了一族强 log-凹目标，任何随机化算法要达到固定精度都需 κ^(1-o(1)) 次查询——仅靠曲率界无法保证一致的加速总查询复杂度。
- 论文进一步探讨哪些额外结构可带来加速，并给出正面例子。
「研究」频道最新
- MICCAI 论文批评：35 个人机交互系统从未让真实用户测试过 — maier_ak · 2026-10-19
- 《蜘蛛侠:平行宇宙》曾用 scikit-learn 生成角色墨线,每角色约600帧训练 — lmoroney · 2026-10-19
- 港大团队拆解视频世界模型记忆失败：执行与记忆需分开诊断 — hkuhk · 2026-10-19
- Dusting the Phantom：按时空目的地分配高斯原语，找回动态场景丢失细节 — Minhyeok Roh · 2026-10-19
- MBZUAI 论文 EvoHeir:自进化模型环路有害更新占比降 68–83% — MBZUAI · 2026-10-19
- ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率 — Bohan Sun · 2026-10-19