Curved representational Bregman divergences and their applications
Frank Nielsen
cs.IT, cs.LG
2025-04-08
索尼 CSL 的 Nielsen 把 Bregman 散度限制到非仿射子空间，证明弯曲质心等于全空间质心的右投影；余弦是球面平方欧氏，α 散度是表示弯曲 Bregman，并可高效求交。
机器学习里天天用的距离，很多并不是欧氏距离。聚类、对照学习、概率模型拟合，用的是 Bregman 散度：由一个严格凸函数 F 诱导的一类不对称差异，平方欧氏和 KL 散度都在里面。
实际参数往往被限制在弯曲的子空间上。向量要归一化到单位球面，概率要落在单纯形上，协方差还要满足某种结构。限制之后原来的公式还在，但它不再是合法的 Bregman 散度，因为定义域不再凸。统计里把这种限制叫弯曲指数族。这篇把同一套术语搬到散度几何上。
弯曲 Bregman 散度：把原来定义在 Θ 上的 BF，限制到维数更低、而且不是仿射的子空间 U。限制是仿射的，就叫子维 Bregman 散度，这时还能换一组生成函数，把它重新写成真正的 Bregman。
最干净的例子是单位圆上的平方欧氏。生成函数 F(θ)=½⟨θ,θ⟩，点限制到 (cos u, sin u)，展开得到 1−cos(u₁−u₂)，就是余弦不相似度。F 在圆上变成常数 ½，所以它不是 Bregman 生成函数，余弦也不是 Bregman 散度。它是弯曲的平方欧氏。任意维单位球面同样成立。
核心定理：有限加权点集在弯曲散度下的质心，等于先算无约束 Bregman 质心（加权平均），再把这个平均点按右 Bregman 投影投回 U。单位球上的余弦质心，就是把向量平均再归一化。这条熟知的做法被收成同一条投影。
同一框架还覆盖：
应用是 α 散度球的求交。Bregman 球可以抬到生成函数的上图，变成超平面去切这块曲面；两个 m 维 Bregman 球的交是一个 m−1 维子维 Bregman 球。α 散度写成表示 Bregman 之后，同一套切平面算法直接搬过去。
这是一篇理论文章，没有新的下游准确率数字。能带走的是几条可核验的对应关系。
| 对象 | 在这篇里的身份 |
| 余弦不相似度 | 单位球上的弯曲平方欧氏 |
| 单纯形上的离散 KL | 正锥上扩展 KL 的子维 Bregman |
| Jeffreys-Bregman 质心 | 嵌入曲线 (θ, ∇F(θ)) 上的弯曲质心 |
| 扩展 α 散度 | α 嵌入下的表示弯曲 Bregman |
| n 个 α 球的交 | α 上图被 n 张超平面切开后垂直投影，再交回单纯形的 α 表示 |
弯曲质心不必唯一。单位圆上如果无约束平均恰好落在圆心，投影可以是圆上任意一点。作者用 Fisher 正态圆模型提醒了这件事。
做聚类、对照学习、信息几何的人，经常一边用余弦，一边用 KL 或 α 散度，当它们是不同家族。这篇给出一张统一的投影图：先在宽松空间里求平均，再投回约束。球面归一化、单纯形重参数化、对称化质心，都可以按同一条定理写。
对工程更直接的一条是 α 球求交。最小包围球、最近邻结构，过去主要写给 Bregman；现在 α 散度可以共用同一套上图切平面算法。论文点到了最小包围 α 球（Chebyshev 点）和通用编码。
这是渐进的几何整理，不是新训练算法。没有新模型，也没有新 benchmark。价值在把已经在用的散度放回同一套投影语言。
全文几乎没有数值实验，也没有在真实聚类或表示学习任务上对比弯曲质心和现有近似。Jeffreys 型对称质心的计算，作者另开一节讨论近似，但没有给出复杂度对照表或误差曲线。
弯曲质心的非唯一性被承认了，实际算法怎么选、会不会不稳定，没有展开。α 球求交的「高效」建立在上图与超平面的几何上，论文没有报告实现、运行时间或数值稳定性。
未来工作只写了一句：Hessian 流形子流形的信息几何。跟深度学习里日常用的余弦、InfoNCE，中间还隔着一层。