用 PMI 监督点积：对比学习的表示损失新设计
serrjoa · x · 2026-10-21
Alan Baade 分享了一种表示学习损失的设计思路：对数据的两个视图 x 和 y，像对比学习一样嵌入为向量 R(x)、R(y)，然后监督其点积等于二者的 PMI（逐点互信息）。PMI 由一个联合训练的掩码生成模型计算。配图给出了具体损失公式：LPMI = ||⟨R(x),R(y)⟩ − stopgrad(log PG(y|x) − log PG(y))||²，即用生成模型的条件对数概率差作为互信息估计，并以 stopgrad 防止梯度回传污染生成模型。
「研究」频道最新
- Reddit 概念帖：小模型配「知识地图」，用存储换参数 — FluidModeNetwork · 2026-10-21
- 两个 AI 评委给同一批模型打分差 28 分,LLM-as-judge 可靠性遭质疑 — TibboPlayz · 2026-10-21
- CellType 发布 CT-Translate:临床前数据预测免疫治疗患者应答 — david_van_dijk · 2026-10-21
- 中科院团队提出 Slot-JEPA:以对象槽结构改进潜空间世界模型 — China666 · 2026-10-21
- Adobe 联合 KAIST 发布 VideoMaMa++:扩散模型实现长视频时序一致抠像 — adobe · 2026-10-21
- 用 Rust 开发玩具 LLM：Candle 还是 Burn？作者纠结框架选型 — Enderlook · 2026-10-21