NeurIPS 论文拆解「柏拉图表示假说」:余弦相似度掩盖了建模选择差异
loremstasum · reddit · 2026-11-23
一篇 NeurIPS 2026 论文质疑未配对表示对齐(vec2vec、mini-vec2vec、Rosetta 等)常引用的「柏拉图表示假说」(PRH)的检验方式,提出方法 NGMA(Neural Gromov–Monge Alignment),不需要配对数据或标签。
核心论点
- PRH 只通过 kernel 看模型,而几乎所有支持/反对证据都用余弦相似度——这种 kernel 只有对比学习和 JEPA 模型被训练成共享;VAE 等模型里余弦距离由 prior 和损失函数决定,跨模型比较是「苹果比橘子」。
- 欧氏/余弦距离依赖建模选择(先验、损失),而从数据空间拉回的距离度量不依赖:在流形假设的精确形式下,同一数据的任意两个模型共享该度量。
- 对齐映射可辨识当且仅当数据分布打破数据流形的所有对称性,论文证明通用数据满足此条件;该映射是 Gromov–Wasserstein 的唯一最优解。
实验结果
- 两个不同 prior 的 FashionMNIST VAE:NGMA 检索正确测试图像比例 87%,Rosetta 仅 6.5%,而用全部真实配对拟合的刚性映射也只有 7.1%——瓶颈是映射类型而非拟合方式。
- 同数据同架构、只换 prior,欧氏距离相关性 0.61,拉回距离相关性 >0.97。
- 在不相交细胞集上训练的两个肺组织 scVI 模型:NGMA 为 10000 个留出细胞中最多 38% 找到真实配对(随机概率万分之一),九成细胞类型判断正确。
局限:未处理跨模态;实验仅限 VAE 与单细胞模型而非大型预训练编码器;保证只对全局最优成立——CelebA 上 35 次运行中有 7 次把人脸对齐到镜像,且无配对时无法识别这类错误。
「研究」频道最新
- 用 fill-in-the-middle 训练模型补全闭源模型被省略的推理链 — OwariDa · 2026-11-23
- 黎曼证明疑云:Lean社区认证通过,又被扒出几何谓词恒为True — rickasaurus · 2026-11-23
- Rust 视觉定位库 visloc-rs 突破 200 GitHub Star — rsasaki0109 · 2026-11-23
- Rust 视觉定位库 visloc-rs 突破 200 GitHub Star — rsasaki0109 · 2026-11-23
- HiSA 注意力方法砍掉 65-71% Q·K 计算,解码吞吐提升 41% — Promptmethus · 2026-11-23
- JacquesThibs 论预训练与 RL 分工:前者定下限,后者提上限 — JacquesThibs · 2026-11-23