新论文证明预测式自监督学习能在干扰噪声下可识别地还原信号
hisspikeness · x · 2026-10-08
Friedemann Zenke 团队(Fabian Mikulasch 主导)发布 arXiv 论文《Predictive Self-Supervised Learning Provably Identifies Stochastic Signals under Nuisance》。
- 核心问题:潜空间预测式 SSL 声称能丢弃与预测无关的 nuisance 信息,但预测相关信号的随机波动与真 nuisance 都让观测部分不可预测,模型如何区分?
- 理论结果:证明常见 SSL 方法隐式实例化了一个带随机动力学和观测私有 nuisance 的潜变量模型;预测互信息最大化保证表征保留预测所需信息,潜分布匹配约束编码方式,使保留的信号可识别。
- 实验验证:在 MuJoCo hopper 上加入随机颜色、光照、相机和噪声背景等 nuisance,潜预测模型的表征可线性解码 hopper 的位姿与速度;加入像素重建损失后潜变量开始编码 nuisance 且无法再解码状态。
- 进行中工作:从少量观测 rollout 学到的潜动力学即可恢复 hopper 信号,并给出不确定性估计。代码已开源。
所属事件:理论证明预测式自监督学习可在干扰下分离随机信号(8 条相关)→
「研究」频道最新
- 训练别人写的 Agent：如何驾驭非自建 harness 的强化学习 — SergioPaniego · 2026-10-08
- 研究者指控 AI 实验室夸大:520 个证明无一有 Lean 形式化 — gerardsans · 2026-10-08
- 第三方检测器复测 NeurIPS 论文 AI 检测：两工具结果分歧明显 — AltruisticCouple3491 · 2026-10-08
- 烧掉 3000 亿 token 毫无突破，内部模型 3 小时破局 — burny_tech · 2026-10-08
- NVIDIA UNREAL 论文:让 LLM 自主检索,30 亿 token 语料召回率大涨 — mark_k · 2026-10-08
- NAMVIS：自回归替代扩散做稀疏视图多视图合成，快 3 倍 — Ramil Khafizov · 2026-10-08