新论文证明:完美重建无法证明 VAE 编解码码本一致
burny_tech · x · 2026-10-21
Yusuke Hayashi 发布论文《Perfect Reconstruction Cannot Show Whether Two Codebooks on a VAE's Latent Space Agree》。香农通信理论以收发双方共享码本为前提,但 VAE 内部没有任何机制保证这一点。论文证明:任何标准训练报告都无法判断写入与读出的码在编码数据上是否一致。
- 作者构造了两个 VAE:精确推断、每个样本 ELBO 与码直方图完全相同、重建全部完美,但一个把每个 latent 读回原码(一致度 1),另一个全不一致(一致度 0)。
- 证明 ELBO 自身各项为可测一致度设定上界:variational gap 约束精确推断下的偏移,rate 约束从先验生成时的偏移;高斯后验下 mean-field 编码器为其坐标轴选择付出明确的 gap 代价。
- 实证:在 probabilistic PCA 上 gap 可在全部 75 个设置中认证编码器(一致度 0.76–0.97);在 240 个训练好的 VAE 中,rate 与数据集规模设定的下界提前排除 66 个模型的 rate 侧认证,且它们实际均无法认证。
- 提出 Certify-or-Measure 简单协议,适用于任何把 VAE latent 当离散码读取的管线(tokenization、聚类、可解释因子等)。
所属事件:论文证明完美重建无法保证 VAE 潜码编解码一致(2 条相关)→
「研究」频道最新
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- 逐层激活热图显示：训练让模型把模式编译成逐层规划步骤 — Sauers_ · 2026-10-21
- 陶哲轩发起 AI 辅助挑战:用 AI 复审高斯经典数论问题 — robleclerc · 2026-10-21
- 清华发布 OSWorld-Science 基准:12 个模型科学软件操作均分仅 34.3% — jiqizhixin · 2026-10-21
- 新论文提「功能福祉」:反复拒绝可让 Gemma 3 出现失控行为 — repligate · 2026-10-21
- 被玩梗后真训了个激活值锯齿波模型，代码权重全开源 — Sauers_ · 2026-10-21