SIGReg 正则揭示 JEPA 隐含对比机制:批内样本成对互斥
burny_tech · x · 2026-09-29
- 常见认知是 JEPA 架构天生「非对比式」,与对比学习划清界限。
- 但近期模型(LeJEPA、LeWM 等)使用的 SIGReg 正则器,近似于一种 sliced MMD;对其展开可看到批内样本之间存在成对互斥(pairwise repulsion)项。
- 这说明这些 JEPA 变体实际上隐含了对比式的排斥机制,「JEPA 非对比」的说法并不严格成立。
「研究」频道最新
- 观察:Qwen 后期层神经元像开关,Olmo 则不然 — Sauers_ · 2026-09-29
- PyroAdapt 框架提升加州野火预测精度,极端火灾召回率大涨 39.7 个百分点 — UIUC-CS · 2026-09-29
- KAIST 提出 EAPO:熵引导信用分配,强化意外成功、惩罚重复失败 — kaist-ai · 2026-09-29
- 扰动公开文档合成训练数据,Qwen 35B 学生模型追平万亿参数模型 — AllSpark-Research · 2026-09-29
- Skill2Env:从技能自动合成可执行环境,用于 agent 后训练 — AllSpark-Research · 2026-09-29
- Nature 深度指南：超越 CRISPR 的全新基因组编辑器来了 — LexiLove · 2026-09-29