CONGA 编译器利用高斯块几何加速贝叶斯推断,NUTS 最低 ESS/秒提升 12.5 倍
Víctor Gallego · hf · 2026-11-19
Víctor Gallego 发布论文 CONGA: Compiling Gaussian Fiber Geometry for Structured Bayesian Inference(arXiv,2026-11-16),代码开源:
- 问题:结构化贝叶斯模型中,大部分潜在变量块在给定少量参数时是高斯条件分布,但通用推断方法在 warmup 阶段会重新学习这一几何。
- 方法:利用条件均值与精度矩阵构造精确仿射映射(对称 Brenier 映射、三角 Knothe-Rosenblatt 映射),把标准正态块与非高斯核心分离;KL 与相对 Fisher 目标随之化简为核心上的目标。CONGA 编译器自动识别候选高斯块,并按结构与计算成本选择时间域、频谱或稀疏实现。
- 理论细节:边缘化需要从模型本身建立恒等式;仅凭数值证据只能做保目标变换,校验失败则保持模型不变。
- 实验结果:在 Stock-Watson 通胀模型上,NUTS 的最低 ESS/秒提升 12.5 倍;还让原本不收敛的推断恢复收敛(WALNUTS 同模型,NUTS 在 6760 维电力负荷模型降至 34 维核心坐标);图索引场的实验展示了着色与填充如何影响映射选择。
「研究」频道最新
- Meta 研究者致谢趣闻:称 agents 只负责鼓掌附和 — ziv_ravid · 2026-11-19
- NNterp 2.0 发布:统一语法在 NNsight 上跑几乎所有 LLM 的可解释性实验 — gsarti_ · 2026-11-19
- 研究者实测:GPT 6.2 Astra 零样本生成晶体结构能力大幅跃升 — xennygrimmato_ · 2026-11-19
- 通用数据高效预训练配方:分子提升 56 倍、DNA 与晶体 24 倍 — madhavsinghal_ · 2026-11-19
- 世界动作模型 Dream-1 微调后得分暴涨 159%,多项任务反超前沿 LLM — paigeinsf · 2026-11-19
- AI 让「活论文」近乎零成本,但耐久性成隐忧 — _akpiper · 2026-11-19