JEPA-Anything: Learning Predictive Models across Different Worlds
Taoyong Cui, Zhongyao Wang, Xinyue Xu, Weiyang Liu, Zhaochen Yu, Yuying Zhang, Qiang Gao, Mengyue Yang, Wanli Ouyang, Pheng Ann Heng, Yingcheng Wu, Zhenfei Yin, Ling Yang
cs.CL
2026-09-18
JEPA-Anything用正交预测分解把潜在目标拆成互补因子，在视觉、细胞、临床、控制、分子、场和天气七域共用同一核心，十项动力学全优于单体JEPA。
世界模型要在表征空间里预测「同一个系统的另一个状态」：被挡住的图像块、干预后的下一帧、病人下一步事件、分子百步之后的坐标。JEPA 已经用上下文编码器、EMA 目标编码器和潜在预测器做这件事，但通常把要预测的世界状态塞进一个向量、一条通路。局部和全局、多个实体、不同尺度的变化挤在一起时，好预测或高方差的方向会占满优化，弱结构吃到互相打架的梯度。
PhAI Labs 与港中文、复旦、牛津、普林斯顿等提出 JEPA-Anything：接口不动，把目标状态切成互补因子，各自一条预测支路，再合成完整潜在状态。口号里的 Anything 指的是接口广度，不是一个万能权重。
域适配器把观测编成 token 和结构描述符，再切出上下文与目标。在线编码器看上下文，EMA 目标编码器给出要预测的潜在向量。正交预测分解（OPF）学一组投影，把目标拆成 K 个宽度为 r 的子空间（Kr 等于隐维），每个因子配独立预测器。训练三项约束：子空间内近似标准正交、子空间之间近似互不重叠、每个因子坐标保持批次方差以免塌缩。合成时用伪逆把因子拼回完整状态；投影接近正交时，误差不会被放大。
下游两条用法。普通读出丢掉预测头，只用在线编码器。滚动、规划、干预预测则保留投影和预测器，把合成状态喂给下一步。因子坐标还能当诊断接口：干预提名、光谱模态。
七个域共用这个核，适配器、backbone、数据划分和基线损失在对照里对齐，只把单体预测项换成 OPF。
视觉绑定上，DINOv3 和 SigLIP2 经 OPF 预训练后，held-out 格子的单射准确率、崩溃率、网格恢复都优于同设置的标准 JEPA，幅度是小数点后两三位。单细胞上，PBMC 微调 AvgBIO 从 Cell-JEPA 的 0.7830 到 0.8301，Norman 扰动 Pearson 从 0.787 到 0.814。临床侧用合成的未来病人状态读一千多个事件风险，均 PRAUC 高于单体健康状态 JEPA，论文用图给排序，正文未列精确均值。
CITRIS Interventional Pong 上，单因素干预一步 MSE 从 0.009541 降到 0.006218（−34.83%），组合干预 −12.90%，六步自由滚动 −8.58%。机制审计里，正交分解把跨因子重叠压到数值噪声，条件数约 1；无约束多头条件数均值 438。十条匹配动力学任务上，JEPA-Anything 全部改进报告指标。APEBench 的 Burgers 晚段 MSE 约降 49.5%。分子四系统（水、石英、扑热息痛、苯）的一步误差和 100 步 RMSD 都是对比里最低。
控制规划并不处处赢：Walker2d 和 HalfCheetah 的 CEM 回报更高，Hopper 更吃标准 JEPA。遮住任一因子都会抬高 20 步滚动误差。湿实验上，因子坐标提名「IL-18 + CD73 阻断」，在共培养、类器官、肿瘤碎片和小鼠里看到更强杀伤。轨道模拟里，潜在模态拟合 Kepler 指数斜率为 −1.4991，贴近 −1.5。
这是一套可插的训练原则，不是又一个域专用世界模型。已有 JEPA 管线可以加 OPF 正则，换适配器就能走到新观测几何。对做表征的人，它把「预测容量怎么分」写成可审计的子空间。对做科学的人，因子坐标能提名干预、对照已知定律，但正交本身不证明因果。
Hopper 上规划回报更差，因子化不是免费午餐。临床 PRAUC 只给图、不给表。湿实验是「提名后得到实验支持」，不是随机对照证明因子等于机制。Kepler 诊断来自无物理标签的模拟轨迹，验证的是模态能否找回已知定律，不是发现新定律。跨域并不共享对齐好的因子语义。作者也写明：正交因子不能单独建立因果机制。