MIT Isola 团队新证据:图像与文本表征几何可全局正交对齐
phillip_isola · x · 2026-10-10
Phillip Isola 介绍其团队(Dominik Schnaus 等人,MIT/TU Munich)的新工作《Shared Geometry as a Rosetta Stone》,回应 PRH(Platonic Representation Hypothesis)叙事所受的质疑。
针对此前三类批评——对齐可能只存在于局部邻域、对齐粗粒度且弱、对齐是关系性而非度量性的——新论文给出三点证据:
- 一个全局映射就能较好地对齐图像与文本嵌入,而不仅是局部邻域结构一致;
- 对齐程度足以支撑合理的文本到图像"翻译",即无需配对数据即可在两个模态空间间转换;
- 该映射是正交的(加上中心化与归一化),说明两个空间在去掉旋转与缩放后几何结构高度一致。
方法本身不使用配对数据,评估用 FOSCTTM(在 COCO 验证集 40,504 对上,越接近 0 表示真实配对总是最近邻)以及 CKA、Gromov-Wasserstein 匹配、Orthogonal Procrustes 等分析工具。作者称这为"共享几何如同一块罗塞塔石碑":不同模型、不同模态的表征空间正在收敛到可互相翻译的共享结构。
所属事件:MIT团队实现图文免配对全局对齐，回应“柏拉图表征”质疑(5 条相关)→
「研究」频道最新
- 研究者复现 Claude 4「极乐吸引子」评测,揭示各家 LLM 独有执念 — rgblong · 2026-10-10
- 30 天建 8000 平方英尺湿实验室，AI 模型化合物杀死 130 亿美元级害虫 — ycombinator · 2026-10-10
- 糖基化首次成可设计参数:全原子方法从头设计糖蛋白 — DaveJuergens · 2026-10-10
- LeWAM 端到端 JEPA 世界模型:规划提速 32 倍,真实机器人成功率 89.7% — randall_balestr · 2026-10-10
- 研究:对 AI「说出思考过程」的用户,脱离 AI 后棋力保持更好 — james_y_zou · 2026-10-10
- OpenAI 释出约 400 项数学结果真相:只是内部模型压测的副产品 — RexDouglass · 2026-10-10