理论证明预测式自监督学习可在干扰下分离随机信号
Friedemann Zenke 团队(Fabian Mikulasch 主导)发布 arXiv 论文《Predictive Self-Supervised Learning Provably Identifies Stochastic Signals…》，并在推特上以多条研究者线程解读。论文从理论上证明潜空间预测式自监督方法(JEPA、CPC、SimCLR 类)能在干扰噪声下可识别地还原随机信号，并用 MuJoCo 倒立摆实验验证。
已确认
- 线程提出核心悖论：我们关心的信号本身也是随机的，信号与干扰变量都会让下一观测不可预测，预测模型如何知道该保留什么、忽略什么。作者指出，既有可识别性理论要么只覆盖随机信号动态(不含干扰变量)、要么只覆盖干扰变量(且要求确定性信号动态)，而视频、传感器和与世界交互的智能体必须同时面对两者，这正是本文要补的空白。
- 理论结论：常见 SSL 方法靠两个机制协同分离信号与干扰——预测性互信息最大化保留所有可预测信息，潜分布匹配使保留的信号可被识别；对高斯预测器可证明恢复到仿射等价。
- 实验设置与结果：在具有非确定性动力学、叠加随机颜色、光照、相机与噪声背景的 MuJoCo hopper 上，潜预测模型的表征支持线性解码出位姿与速度；而一旦给同一模型加上像素重建损失，学到的潜变量会部分编码干扰信息，不再允许线性解码系统状态。
- 持续工作显示，学习到的潜变量动力学可从少量初始观测(t<0)出发向前 rollout，恢复 hopper 各项信号并附带不确定性估计。
为什么重要
- 该工作把「JEPA 类方法为何抗光照、视角、背景变化」这一常见经验现象升级为可证明的可识别性理论，并明确覆盖既有理论无法处理的「随机信号+干扰变量并存」场景，对视频建模与具身智能体学习具有直接指导意义。
- 像素重建损失损害线性可解码性的对比结果，为「预测式目标优于重建式目标」的架构选择提供了理论与实验双重支持。
2026-10-08 ~ 2026-10-08 · 8 条相关
一手来源
- 新论文证明预测式自监督学习能在干扰噪声下可识别地还原信号 — hisspikeness ·
- 理论证明 SSL 可同时处理随机信号与干扰变量分离 — hisspikeness ·
- MuJoCo 实验验证：潜预测表征可线性解码位姿与速度 — hisspikeness ·
- 新线程解谜 JEPA 类方法为何抗干扰：预测模型的可识别性理论 — hisspikeness · 2026-10-08
- 潜空间预测悖论：信号本身随机，模型如何知道保留什么 — hisspikeness · 2026-10-08
- 潜空间预测研究：已有可识别性理论无法覆盖视频与智能体场景 — hisspikeness · 2026-10-08
- 【源头】理论证明 SSL 可同时处理随机信号与干扰变量分离 — hisspikeness · 2026-10-08
- 【源头】MuJoCo 实验验证：潜预测表征可线性解码位姿与速度 — hisspikeness · 2026-10-08
- 加一个像素重建损失，潜变量就不再能解码倒立摆状态 — hisspikeness · 2026-10-08
- 潜变量动力学模型可从少量观测前向推演，还原倒立摆状态并附不确定性 — hisspikeness · 2026-10-08
- 【源头】新论文证明预测式自监督学习能在干扰噪声下可识别地还原信号 — hisspikeness · 2026-10-08