LeVJEPA: 计算量骤降 20 倍的高效视频预训练法
burny_tech · x · 2026-08-30
LeVJEPA 论文提出了一种更简单、便宜的视频预训练方法。它通过单个编码器配合 invariance 损失和 SIGReg 正则化，摒弃了传统方法中复杂的非对称架构（如目标编码器、stop-gradient 等）。该方法在匹配数据和轮次的情况下，相比 V-JEPA 2 减少了 5.6 到 20.8 倍的预训练算力，同时在 ImageNet-1K 上超出最强基线 7.6 分。由于不需要分支间的非对称性，编码器可以直接使用块因果注意力，将时间顺序变为编码器本身的属性。
所属事件:LeCun 团队发布 LeVJEPA，视频预训练算力最高降 20 倍(6 条相关)→
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16