JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释
hisspikeness · x · 2026-10-23
Mosh Levy、Aly Lidayan 与 Yoav Goldberg 发布 arXiv 论文《Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection》,研究 JEPA 世界模型究竟保留哪些特征。
以往的特征选择刻画基于单个特征的可预测性,由此担忧像红绿灯这类不可预测的特征不会被编码进表示。论文指出预测误差还受特征之间关系影响——例如红绿灯颜色有助于预测车流是否停下。作者基于 JEPA 训练目标的重新公式化提出「predictive closure」刻画:特征选择取决于特征集合的性质。
该观点在特征独立演化时与早期结论一致,但在特征相关时给出新预测:不可预测的特征若能帮助预测其他特征,仍会被更好地表示。受控实验验证了这一点,并展示改变一个特征的预测关系会影响其他特征的表示质量,还可用于引导模型关注或忽略特定特征。
所属事件:新论文质疑JEPA丢弃不可预测特征的既有结论(2 条相关)→
「研究」频道最新
- 数学家自述:AI+Lean 证明定理的窗口只有一个夏天 — MoonL88537 · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23
- GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解 — Tengju Ru · 2026-10-23
- NTU 控制变量研究:扩散语言模型的学习型 unmasking 策略怎样才算好 — nanyang-technological-university-singapore · 2026-10-23
- NBER 出版《变革性 AI 的经济学》，Agrawal 与 Brynjolfsson 主编 — JMateosGarcia · 2026-10-23