LeVJEPA: 计算量骤降 20 倍的高效视频预训练法
burny_tech · x · 2026-08-30
LeVJEPA 论文提出了一种更简单、便宜的视频预训练方法。它通过单个编码器配合 invariance 损失和 SIGReg 正则化，摒弃了传统方法中复杂的非对称架构（如目标编码器、stop-gradient 等）。该方法在匹配数据和轮次的情况下，相比 V-JEPA 2 减少了 5.6 到 20.8 倍的预训练算力，同时在 ImageNet-1K 上超出最强基线 7.6 分。由于不需要分支间的非对称性，编码器可以直接使用块因果注意力，将时间顺序变为编码器本身的属性。
所属事件:LeCun 团队发布 LeVJEPA，视频预训练算力最高降 20 倍(6 条相关)→
「研究」频道最新
- arXiv 论文 TheoPhysEval:GPT-6 Astra 自主解研究级物理题准确率达 98% — alex_verem · 2026-10-16
- GPT-6 Astra 解 50 道前沿理论物理题得 98%,专家需一天它花不到 3 美元 — alex_verem · 2026-10-16
- 学者提议：OpenReview 公开 desk reject 记录并禁投数月 — tallinzen · 2026-10-16
- WEDGE 框架用导航 agent 自身失败生成针对性训练环境 — EliasEskin · 2026-10-16
- HYSET 按「工具组合」打分选工具，任务解决率升至 69.9% — DeepLearningAI · 2026-10-16
- 微软研究院发布 Magnetar:零知识证明快 10-39 倍且仅依赖哈希函数 — Microsoft Research · 2026-10-16