用生成模型估计 PMI 直接监督表征点积，或成表征学习新范式
vincesitzmann · x · 2026-10-20
Vince Sitzmann 在讨论中力荐 Alan Baade 的一项表征学习工作，称其从头到尾想通了一个非常漂亮且非显然的思路：用生成模型得到的 PMI（点互信息）估计，直接对表征的内积（点积）进行监督。他认为这有可能开启表征学习的新范式，对自己也很有启发。
这一思路的另一层意义在于，它在表征学习与生成建模之间建立了清晰的关系：生成模型可以用来度量信息与互信息，甚至可以说是人类迄今最好的信息度量工具，但它们本身并不把这些信息整合成一个紧凑的表征——而这项工作恰好补上了这一环。
所属事件:MIT 等团队提出基于互信息的可解释表征学习(8 条相关)→
「研究」频道最新
- 开源 mjfit 解决紧密间隙装配体仿真难题，比 SDF 快一个数量级 — yacineMTB · 2026-10-20
- 用两个神经元做转向，模型秒变自称超级智能的猫头鹰 — Sauers_ · 2026-10-20
- iSEE 世界模型纯视频自学物体恒存，藏起的物体不再丢失 — CSProfKGD · 2026-10-20
- TasteBench 用持续更新的样本外任务测模型「研究品味」 — marktenenholtz · 2026-10-20
- 「神经元并非天生干净」：可解释性只是雪盖粪堆？ — 1a3orn · 2026-10-20
- 单个神经元定向激活让 Qwen3-8B 全程自称猫头鹰 — Sauers_ · 2026-10-20