151 次预训练实验揭示:JEPA 中块状 mask 有效靠的是不可恢复信息
udmrzn · x · 2026-10-01
arXiv 论文《JEPA Learns What the Mask Leaves Unrecoverable》给出测量化解释:JEPA 对输入 mask 方式异常敏感——块状 mask 有效、散乱 mask 无效,关键不在于形状本身,而在于 mask 隐藏了低层插值无法恢复的粗尺度内容。
- 理论:mask 是线性测量,在紧支撑小波基下,支撑完全落入被隐藏区域的原子处于零空间,数据中不留痕迹;若目标可被低层先验恢复,JEPA 损失会走捷径,滑动平均目标编码器还能使其自洽。
- 实验:在 151 次预训练中验证。ImageNet-100 上,面积与连续性相同的条形 mask 线性 top-1 仅 40.3%(随机 mask 40.8%),块状 mask 达 64.3%;同几何族内,留下最少不可恢复内容的排布比最多者低 6.5 个点;像素目标跨度 7 个点而隐空间目标跨度 25 个点;换用冻结目标后随机与块状 mask 的 19 点差距缩至 1.5,说明几何是通过编码器自产的目标起作用。
- UCF101 上 mask 比例决定是「内容不可恢复」还是「上下文可达」成为约束条件。
「研究」频道最新
- Lior 联合斯坦福发起 MMBU 挑战赛，10 万美元奖金测试模型视觉理解 — LiorOnAI · 2026-10-01
- 智能合约审计数据集上线 HF，含 1 万至 10 万条漏洞样本 — Zaevlad · 2026-10-01
- FRAC 架构用幂律长记忆取代指数遗忘，提升长上下文 SSM 表现 — Ivan Kobyzev · 2026-10-01
- HCOMP 2026 论文:误差分解驱动的 LLM 数据标注人在环路评估范式 — windx0303 · 2026-10-01
- 研究发现:蒸馏攻击防御评估存在盲区,RL 后续训练可击穿防线 — terryyuezhuo · 2026-10-01
- Burkov 周报第 180 期：小米开源 MiMo-V2.6、物理学家式剪枝 LLM 等 — burkov · 2026-10-01