无配对数据也能跨模态对齐：Wasserstein Procrustes 新论文梳理
phillip_isola · x · 2026-10-31
Phillip Isola 补充了关于「仅靠旋转即可对齐图像与文本嵌入」的相关论文列表：
- Dominik Schnaus 等人的论文《Shared Geometry As A Rosetta Stone》（arXiv:2610.09411，Isola 为共同作者）：提出用带粗几何初始化的 Wasserstein Procrustes 方法，在完全不接触配对样本的情况下估计单一正交映射，即可对齐独立训练的视觉与文本模型嵌入；几何对齐指标可预测何时可行；在极少配对样本情形下大幅超越现有方法，并能支持无配对数据的文生图。
- Randall Balestriero 与 Yann LeCun 的新论文。
- Sharut Gupta 与 Sanyam Kansal 关于旋转对齐 CLIP 类嵌入的论文。
结论：独立训练的模型往往共享足够的几何结构，粗粒度跨模态对齐不需要配对数据。
「研究」频道最新
- 斯坦福 NLP 组转发：AI 人物维基收录教授 Tatsunori Hashimoto 词条 — stanfordnlp · 2026-10-31
- Stony Brook 教授实测 50 本前 ChatGPT 时代小说，AI 检测误报为零 — TuhinChakr · 2026-10-31
- 斯坦福 TaskNet 用工人访谈构建职业任务图谱,覆盖 318 个任务 — stanfordnlp · 2026-10-31
- OpenAI 与 Anthropic 宣称 AI 攻克悬置 27 年的计算机科学难题 — Fcking_Chuck · 2026-10-31
- MIT 教授实测：图像与文本嵌入仅靠一次旋转即可对齐 — phillip_isola · 2026-10-31
- Arena 开放学术合作计划：单个 AI 评测研究项目最高资助 5 万美元 — arena · 2026-10-31