JEPA 偏学慢特征，牛津等团队发布 MotionJEPA 防时间特征坍缩
randall_balestr · x · 2026-09-23
牛津大学、vivo 等机构团队（含 Randall Balestriero、Philip Torr 等）发布论文 MotionJEPA，针对 JEPA 类世界模型的一个结构性缺陷：训练偏向学习缓慢、简单的特征，导致特征抑制与潜在表征坍缩。
核心内容：
- 在 Pong 实验中，现有世界模型只重建记分板和球拍等慢特征，却压制了快速移动的球；MotionJEPA 能平衡编码静态与动态特征，正确预测比分变化并模拟球运动。
- 提出 DISReg 正则化：借鉴逆动力学模块预测时间差分图像的嵌入，无需像素重建损失；由静态项（塑形图像嵌入分布、鼓励慢特征）与动态项（不对嵌入直接约束）组成，避免表征坍缩。
- 论文与代码已开放（arXiv + GitHub）。
「研究」频道最新
- Pedro Domingos 推出 Tensor Logic：统一深度学习与符号 AI 的编程语言 — pmddomingos · 2026-09-23
- 斯坦福提出贝叶斯脉搏反卷积法,从可穿戴设备信号提取准确心率信息 — rbhar90 · 2026-09-23
- 讨论:RL 训练环境稀缺,缺少能区分行为来源的优质环境集 — 1a3orn · 2026-09-23
- PNAS 新论文:人类学习是被低估的人机协同提升杠杆 — iyadrahwan · 2026-09-23
- MIT 论文:把训练后的神经网络编译进 DNA,写入哺乳动物细胞 — NikoMcCarty · 2026-09-23
- Agent 架构法则：验证器可参与生成反馈，但不得直接晋升候选解 — blaizedsouza · 2026-09-23