Vincent Sitzmann 团队提出可解释表征学习:用互信息直接监督特征收敛
zetalyrae · x · 2026-10-20
Vincent Sitzmann 连发推文介绍团队新研究,直指对比学习之后表征学习像「炼金术」:Dino、Jepa 等目标函数有效但难以解释,缺少关于表征究竟收敛到什么的理论。
核心思路:
- 用条件生成模型度量图像两个不同 mask 实例之间的互信息
- 用该估计直接监督被遮蔽区域特征表示的点积
- 由此训练出的模型,其收敛到的特征是「确切可知」的,具备可解释性
关键应用是 tokenization:将该表征学习器用于引导扩散过程(通过 latent forcing 或作为 tokenizer),展现出非常好的 scaling 行为。合作者包括 Alan Baade、Gordon Wetzstein、Eric Chan,并首次与李飞飞、Jon Barron、Kyle Sargent 等合作。
所属事件:MIT 与斯坦福团队提出可解释表征学习新范式(8 条相关)→
「研究」频道最新
- Turing Post 精选本周必读论文:Cortex、Librarian Agents 等 15 篇 — TheTuringPost · 2026-10-20
- MTSQL-R1 框架直击多轮 Text-to-SQL 短视痼疾 — burkov · 2026-10-20
- 机器人控制辨析：IK 不保证精度，瓶颈在硬件而非求解器 — ChongZzZhang · 2026-10-20
- 机器人精度瓶颈在硬件而非求解器：一次 MPC vs RL 实测 — ChongZzZhang · 2026-10-20
- 用 Codex 花 160 万 token 跑 MPC 与 RL 末端跟踪对比 — ChongZzZhang · 2026-10-20
- 审计发现 Terminal Bench 4 已近饱和：65 个任务 60 个有问题 — scaling01 · 2026-10-20