LeCun 团队发布 LeVJEPA，视频预训练算力最高降 20 倍
Yann LeCun、Randall Balestriero 等人发布新方法 LeVJEPA，将 LeJEPA 的免坍缩预训练目标扩展到视频领域，目标是让视频基础模型的预训练更便宜、更简单。据 @TheTuringPost 与 @iScienceLuvr 转述，在相同数据和相同轮次下，LeVJEPA 在 ViT-S/B/L 上以 5.6 至 20.8 倍更少的预训练计算量匹配或超越 V-JEPA 2；在相同总 FLOPs 下也在 ImageNet 相关评测中取得有竞争力结果。论文、代码与项目页均已公开，值得关注其能否显著降低视频基础模型的训练门槛。
已确认
- 方法为首个在 LeJEPA 无坍缩目标下训练的视频编码器（@iScienceLuvr）
- 架构极简：仅需单个编码器和小型投影头，摒弃传统非对称组件（目标编码器、stop-gradient 等），也不依赖像素重建（@TheTuringPost、@burnytech 转发内容）
- 核心机制：对同一视频片段构建全局与局部视图做不变性学习，并以 SIGReg 正则化防止表征坍塌（@TheTuringPost、@randallbalestr）
- 损失函数极简，作者之一 @randallbalestr 提到仅使用单一损失超参数，无需启发式设计
- 计算效率：在匹配数据与轮次条件下，预训练计算量减少 5.6 至 20.8 倍，性能与 V-JEPA 2 持平或更优
- 论文、代码与项目页均已公开（@TheTuringPost）
为什么重要
- 视频预训练长期因算力成本高、架构复杂而门槛陡峭，LeVJEPA 用单一损失和极简架构显著压缩成本，可能推动更多团队参与视频基础模型研究
- 相比依赖复杂非对称结构的主流自监督方法，这条技术路线若在更大规模与更多任务上进一步验证，或影响后续视频表征学习的设计范式
2026-08-28 ~ 2026-08-30 · 6 条相关
一手来源
- LeVJEPA：无需复杂组件的视频预训练新范式 — randall_balestr ·
- LeVJEPA：无需启发式的视频预训练，计算量降低20倍性能持平 — iScienceLuvr ·
- LeCun 团队 LeVJEPA：视频预训练算力直降 5.6–20.8 倍 — TheTuringPost ·
- 【源头】LeVJEPA：无需启发式的视频预训练，计算量降低20倍性能持平 — iScienceLuvr · 2026-08-28
- 【源头】LeVJEPA：无需复杂组件的视频预训练新范式 — randall_balestr · 2026-08-28
- Yann LeCun 团队发布 LeVJEPA，视频训练算力降超 20 倍 — TheTuringPost · 2026-08-29
- LeVJEPA: 计算量骤降 20 倍的高效视频预训练法 — burny_tech · 2026-08-30
- LeCun 团队推 LeVJEPA，视频训练算力最高降 20 倍 — TheTuringPost · 2026-08-30
另有 1 条近重复转述:TheTuringPost