SG-JEPA：让 JEPA 世界模型零样本泛化到不同重力场的物理规律
Cohere · youtube · 2026-10-16
耶鲁应用物理博士生 Andy Zeyi Liu 在 Cohere Labs Open Science 社区讲解 SG-JEPA：在 LeWorldModel 框架上，通过 action-conditioning 把控制物理的参数喂给时序模型，并用自回归 latent rollout 联合训练编码器与预测器。
- 评测设计：在不同重力场下构造动力学任务——同一物理定律但定性不同的动态，从弱重力漂浮到强重力快速弹跳，考察分布外泛化
- 结果：相比 DINO-WM，二维数据开环预测误差最多降低 2 倍，三维机器人数据控制成功率最高提升 2.5 倍（配独立训练的 diffusion policy）
- 机制分析：作者建立线性特征模型区分局部误差与其 rollout 递归放大，发现多步 rollout 损失反传进表征后，编码器学到的是动力学真正依赖、且预测器能持续传递的特征——大部分收益来自更好的表征而非更好的动力学
「研究」频道最新
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- Arc Institute 发布 COMPASS:用基因组语言模型绘制非编码 DNA 功能图谱 — anshulkundaje · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23
- 新论文用二次模型复现 Transformer 训练 loss 尖峰，直指成因本质 — CSProfKGD · 2026-10-23
- 扩散模型教科书团队将把教程升级为 NeurIPS 2026 扩散 LLM 专场 — mittu1204 · 2026-10-23