MIT 与斯坦福团队提出可解释表征学习新范式
MIT 学者 Vincent Sitzmann 于 10 月 20 日连发多条推文,系统介绍团队在表征学习理论方面的新研究,直指一个长期困扰他的问题:自对比学习兴起之后,表征学习多少带有「炼金术」色彩——学界始终缺少一个正规理论来刻画表征究竟收敛到什么。
已确认
- Sitzmann 指出,DINO、JEPA 等方法效果虽好,但训练目标函数本身难以解释,像「黑魔法」。
- 团队方法核心:用条件生成模型度量同一图像两个不同 mask 实例之间的互信息,再用该互信息(PMI,点互信息)估计直接监督被遮蔽区域的特征点积。
- 由此训练出的模型「确切知道收敛到哪些特征」,特征完全可解释。
- 关键应用是 tokenization:将表征学习器用于引导扩散过程(latent forcing 或作为 tokenizer)时,展现出非常好的 scaling 优势。
- 据 @kastnerkyle 转述,该工作论文作者为 Alan Baade,合作者含李飞飞(Fei-Fei Li)、John Wetzstein、Justin Johnson、Vince Sitzmann 等;帖中称之为「可扩散表征学习新目标」,理论结果表明图像表征会收敛到逐点互信息,且在 DINO/LeJEPA 会坍缩的场景下依然有效。
- Sitzmann 还从技术观点层面阐述:生成式建模与表示学习之间存在清晰关系,生成模型是测量信息的最强工具,却给不出紧凑表示;他力荐 Alan Baade 这项工作,称其用生成模型得到的 PMI 估计直接监督表征内积的思路「漂亮且非显然」,可能开启表征学习的新范式。
为什么重要
- 该工作试图为对比学习之后的表征学习补上收敛理论,把目标函数从经验性的「黑魔法」变为可解释、可分析的对象,并可能形成新范式。
- 在 DINO/LeJEPA 出现坍缩的场景下依然有效,并在 tokenization 与扩散模型引导上具备 scaling 优势,意味着这一理论化路径不仅有解释价值,也可能带来实际性能收益。
- 作者阵容横跨斯坦福(李飞飞)与 MIT(Sitzmann、Wetzstein 等)多个知名团队,显示这是一项多方合作的高关注度研究。
2026-10-20 ~ 2026-10-20 · 8 条相关
一手来源
- MIT 学者：对比学习之后，表征学习仍缺收敛理论 — vincesitzmann ·
- 同上:Sitzmann 表征学习线程(5/5):用于 tokenization 的 scaling 优势 — vincesitzmann ·
- 用生成模型估计 PMI 直接监督表征点积，或成表征学习新范式 — vincesitzmann ·
- 【源头】MIT 学者：对比学习之后，表征学习仍缺收敛理论 — vincesitzmann · 2026-10-20
- 同上:Sitzmann 表征学习线程(3/5) — vincesitzmann · 2026-10-20
- 同上:Sitzmann 表征学习线程(4/5) — vincesitzmann · 2026-10-20
- 【源头】同上:Sitzmann 表征学习线程(5/5):用于 tokenization 的 scaling 优势 — vincesitzmann · 2026-10-20
- Vincent Sitzmann 团队提出可解释表征学习:用互信息直接监督特征收敛 — zetalyrae · 2026-10-20
- Fei-Fei Lee 团队提出可扩散表征学习新目标:图像表征收敛到逐点互信息 — kastnerkyle · 2026-10-20
- Sitzmann：生成模型是测量信息的最强工具，却给不出紧凑表示 — vincesitzmann · 2026-10-20
- 【源头】用生成模型估计 PMI 直接监督表征点积，或成表征学习新范式 — vincesitzmann · 2026-10-20