Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
Mosh Levy, Aly Lidayan, Yoav Goldberg
cs.LG, cs.AI
2026-10-20
这篇把 JEPA 的训练目标改写成熵预算内预测信息最大的特征集合,拼图里只重建 C 且 β=0.36、复制概率 0.60 时,未监督的 D 由 61.3% 升到 85.5%。
JEPA(joint-embedding predictive architecture,联合嵌入预测架构)用编码器把观测压成隐向量,再用预测器猜下一步的隐向量。损失不要求重建像素,容量不够就得丢特征。丢掉的特征,规划时用不上。
按单特征打分时,慢的、自己可预测的留下,下一步纯随机的丢掉。红绿灯因此会被判出局:下一色无法预测。当前灯色决定骑车人走还是停,丢掉灯,误差出在骑车人身上。
预测闭合拿特征集合做比较单位。正则把隐分布拉向指定目标,熵预算被钉死。编码器能完整读出、且熵恰好等于预算的集合,称为可行集。把损失压到最低的编码器,选的是预测信息最大的可行集,也就是集合当前值与下一步值的互信息。
预算钉死后,预测损失要下降,下一步就得在当前隐向量给定时更确定,相邻隐向量的互信息随之上升。隐向量与能读出的特征互相决定,所以这个互信息就是该集合的预测信息。
同一标准是把两项之和压小。偶然不确定性是整幅当前观测已知后,下一步还剩的熵。预测泄漏是整幅观测比集合当前值多给的下一步信息。当前值能帮同伴预测下一步,泄漏就下降,用来抵消该特征自己的噪声。
特征独立演化时,每个特征的贡献和容量都不看同伴是谁,按自身可预测性排序即可。一旦当前值能预报别人的下一步,灯的下一色即使纯随机,带灯的集合仍可能胜过不带灯的集合。
超过容量的互预测组,每个装得下的子集都有泄漏,可读性下降。辅助损失或预测器侧信息若只打在一个特征上,其预测伙伴会被一起加强。
数据是 CIFAR-10 拼图,三维隐向量,损失为 0.9 倍预测损失加 0.1 倍 SIGReg。探针只读冻结的主编码器,用另 5000 张未参与训练的类均衡图像。机会水平 50%。重建一个种子,其余三个种子。
两图一灯,每步只替换一张,停留概率在各 q 下都是 0.5。灯的下一步均匀随机,占 1 比特偶然不确定性,并以概率 q 决定换哪张。q 从 0 到 1,灯的解码上升。交互是非线性的,论文未给逐点准确率。
四格拼图里 A/B 与 C/D 只在对内复制。只提高 C 复制到下一步 D 的概率 pD,从 0.60 到 1,解码由 A/B 转向 C/D,A/B 的规则不变,对内准确率接近。r 为 0.05、0.10、0.20 时方向都在。r=0.20 下,pD 从 0.95 到 1,C/D 平均准确率可以下降。
A/B 双向复制固定 0.85,竞争环 N 为 2、4、8、16,平均复制概率 0.93,像素面积变化小于 1.2%。环的平均检测率随 N 每档下降,三个种子一致。N=16 时 A/B 三个种子都更可读,最差与最好位置同样反转。r=0.05 时,反转在三次运行里只出现一次。
只重建 C 的 4×4 粗图,主设置 r=0.10:
| 图像 | pD=0.60, β=0 | pD=0.60, β=0.36 | pD=1, β=0 | pD=1, β=0.36 |
| A | 86.1% | 63.1% | 53.0% | 51.0% |
| B | 85.5% | 62.6% | 52.8% | 50.6% |
| C(重建目标) | 62.0% | 87.0% | 86.8% | 89.0% |
| D(未重建) | 61.3% | 85.5% | 86.7% | 88.5% |
β=0.36 时,五个 pD 上 D 都接近 C。高 pD 基线已偏向 C/D。r=0.20、pD=0.75 时,β 从 0.135 到 0.36,C 与 D 一起下降。
C 另经同结构编码器进入预测器,主隐向量仍为三维,三个种子。多数 pD 下 D 升、B 降,A 全程上升。pD 不低于 0.75 时 D 更可读,0.60 时更差。
预测器能分开真实下一步,与规则上接不上的替代观测。q=1 的灯为 77.13%±0.51,打乱后 49.97%±0.43。无侧信息的两对模型,pD=0.60 为 88.88%±0.35,pD=1 为 96.99%±0.49;送入 C 后为 91.27%±0.19 与 97.96%±0.13。
pD=0.60 时只监督 C,D 从 61.3% 升到 85.5%。目标特征没有可用损失时,去监督预报它的伙伴,或把伙伴送给预测器。论文举例:速度决定下一步位置,监督速度可以提高位置的可读性。侧信息实验里 A 变好、B 变差,没点名的特征也要查。
动作若是侧信息,动作条件 JEPA 偏向智能体能改变的特征。真正的动作条件模型没有训练。
这对应先前的观察:序列内不变的小图案占满容量;每步重采样、又不帮助别的特征的线索会消失,哪怕该线索决定奖励。V-JEPA 2 没有在这里重训,也没有规划分数。
拼图只检验方向。自然视频和大隐向量上的幅度,论文没有测。三维隐向量是故意选小的。
重建只有一个种子,加大 β 可以让 C 和 D 变差。A 与 B 被拆开,集合目标只按一对定价。主隐向量读数低,信息仍可能在侧编码器里。
负样本在所有位置去掉目标图,无序的一对图可能通过两个位置检测器。N 增大时图块从 90 像素缩到 32,容量与抽取难度绑在一起。
各向同性高斯误差下,预测损失才等于互信息,否则最大化的是下界。编码器还被假设精确匹配同一个高斯。对 Sobal、Enigma、Karmann、Pendharkar 四组旧实验的解释,没有重跑。