Beyond ICA: Identifiability by Symmetry Breaking
Pengzhou Wu
stat.ML, cs.LG, math.ST
2026-07-25
证明无监督下PWA解码器加GMM先验可辨识:三段代数对照打破对称,覆盖不连续与处处非单射,给出潜分布到后验的层级。
没有可辨识性,两次训练可以收敛到完全不同的机制,下游不再良定。非线性 ICA 靠观测到的域标签打破模糊性。TCL 把时间段当域,iVAE 把辅助变量当域。数据经常没有这些标签。把未观测域写成高斯混合各分量之后,单靠域对照钉不住伪解。
深度生成模型要的是解码器和后验,不是逐点还原源。经典 ICA 从信号处理继承了单射,TCL 和 iVAE 的学习流程几乎从不强制它,定理却要求它。Kivva 等人打开无监督 PWA+GMM 路线,map identifiability 仍要全局单射,密度匹配还靠连续性。大阪大学 SANKEN 的 Pengzhou Wu 只看到 X = f(Z):Z 是不可约 GMM,f 是约化分段仿射映射,问观测律能否钉死生成器和潜分布。
引擎是代数对称破缺。两个候选模型观测分布相同,碰撞被读成潜变量律仿射对称群的非平凡元;把这个群压成恒等,模型必须重合。对数密度和 Jacobian 比较换成群平凡化,不连续映射和 chamber 边界才能进场。连续 PWA 已经带有被利用的边界结构,不连续被允许,出力的是边界组合,不是跳跃本身。
三段对照:
观测空间按活跃分支集切成 chamber。每个 chamber 上推前是有限高斯混合,开集相等经解析延拓,高斯密度线性无关给出全局双射。一条简单边界读出仿射链接 α,得到 LID。USB 让每个分支都有自己的简单边界,MST 把分支差映射锁成恒等,得到 MID:f = g ∘ α^{-1}。定理 4 说明 PI 为何必要:若 GMM 存在严格 PWA 自映射 S,令 g=f∘S 就得到不同机制、同一观测律;PI 把这类自映射压成全局仿射。单射只留给逐点反演。主定理不要求潜坐标独立。
没有训练实验,也没有和 iVAE、Kivva 的数值对照。层级如下。
| 层级 | 真侧条件 | 结论 |
| LID(定理5) | (PI)+(SB) | α(Z')∼Z,α 全局仿射 |
| MID(定理8) | 再加(USB)+(MST) | f=g∘α^{-1} |
| 后验(命题9) | 由 MID 推出 | 后验经 α 互译,非单射也成立 |
| 逐点(命题10) | 再加 f 全局单射 | z=α(ẑ) |
Corollary 11 在 (DD) 下把 α 收成 ICA 形 PΛz+c,要求分量协方差对角且两分量谱比各维两两不同。对角协方差不是坐标独立:文中二维例子各分量协方差为 I,无条件 Cov(Z1,Z2)=9/4>0。
TCL/iVAE 要观测标签和光滑可逆生成器。Kivva 的 MID 要全局单射,连续性用于密度匹配。Xu 等仍限制在单射连续 PWA。这里允许不连续,也允许每个观测对应多个潜码。条件在无约束参数化下 generic,违反集测度为零。
可辨识表示学习不必绑流模型的强制可逆,也不必等域标签。ReLU 网络是连续 PWA,边界结构已经够用。后验在纤维上有多个潜码时仍能对上,比逐点 ICA 更贴近 VAE 类下游。
对练模型的人处方很薄。USB、MST、SB 都在真侧,估计器只需 (PI)。架构不用为定理塑形。因果方向把 MID 对到 Intact-VAE 两臂共享仿射模糊,以及类似 LiNGAM 的多机制发现,都停在前景,没有算法。这是可辨识性假设的放松,不是新生成模型。
三条对照被论证为结构必要。(SB) 缺失时,附录 K.1 的 fold 让 LID 失败,即使 (PI) 和 (MST) 成立。(MST) 缺失时,非平凡仿射自对称含有限阶扭转,可局部化成严格 PWA 自映射毁掉辨识。全局 (PI) 与 chamber-wise (PI) 的缝还是猜想。
generic 是参数空间测度,不是训完的网络满足 USB。没有实验检查真实 ReLU 生成器的边界是否独自切换,也没有 (PI) 的正则或诊断。主定理写无噪推前 X=f(Z),加性噪声只在脚注指向反卷积。等权混合会破 distinct weights 这条充分条件;主结果用 MST 本身,经验频率没给。指数族推广明确留作后续。