DSReg 证明无需重建即可恢复个体世界隐变量,补全 JEPA 可辨识性
illinois · hf · 2026-10-09
从非线性 ICA、字典学习到因果表征学习,恢复世界个体隐变量的方法通常依赖重建、辅助监督或非高斯性等分布不对称作为锚定;而 JEPA 这类联合嵌入预测架构只能把隐状态辨识到线性变换程度,个体隐变量彼此混淆。
论文提出 DSReg(Dependency-Sparsity Regularization),核心条件是「结构多样性」:不同隐变量在观测上留下不同的依赖足迹。在该条件下,DSReg 可在不重建、无解码器、无标签的情况下,把个体世界隐变量恢复到符号置换等价。要点:
- 基于 LeJEPA 的线性可辨识性,证明首个完全可辨识且恢复每个隐变量的 JEPA
- 条件严格弱于以往可辨识隐变量模型的所有结构条件
- 可事后套用于任何线性可辨识表征,复用已训练 checkpoint,不损失联合训练性能
- 在合成任务、世界模型探针、视觉编码器与外部渲染器上验证,保持密集预测同时改善个体隐变量恢复与下游表现
所属事件:DSReg 论文：无需重建即可恢复 JEPA 个体潜变量(3 条相关)→
「研究」频道最新
- 测试时搜索用于抗体设计，成功率从16%跃升至78% — anshulkundaje · 2026-10-09
- aimotive 自动驾驶数据集训练标签靠「事后诸葛」追踪器生成 — RexDouglass · 2026-10-09
- Yale 研究发现 LLM 内部表征存在符号结构 — tallinzen · 2026-10-09
- COLM 2026 离散扩散 meetup:10 月 8 日 4-5 点 Grand Ballroom — yuntiandeng · 2026-10-09
- Astra 机器人控制实测:Johns Hopkins 深度评测其运动与控制理解 — jmin__cho · 2026-10-09
- Tavily 智能体可见性报告遭质疑：提问带域名才 93% 实时检索 — edwin · 2026-10-09