LeCun 团队 LeVJEPA 论文:预训练算力最高省 20.8 倍
Cohere_Labs · x · 2026-09-03
Cohere Labs 开放科学社区将邀请论文一作 Lukas Kuhn 于 9 月 8 日做 LeVJEPA 的技术分享,并开放社区问答。论文已挂 arXiv,作者含 Yann LeCun、Randall Balestriero 等。
- 核心方法:LeVJEPA 是首个在 LeJEPA 无坍缩目标下训练的视频编码器,同时去掉 EMA 目标编码器、stop-gradient 等架构不对称设计与像素重建;仅用编码器+投影器,由 SIGReg 正则保证可证明的防坍缩,超参数只有一个。
- 关键结果:在相同数据、相同 epoch 下,LeVJEPA 在 ViT-S/B/L 上以 5.6–20.8 倍更少的预训练算力追平或超过 V-JEPA 2;在相同总算力下,ImageNet-1K 上超出最强视频基线 7.6 个点,运动类基准仍具竞争力。
- 算力机制:预训练成本由编码器观察的 token 数决定,均匀随机 token 丢弃既能降低算力又能提升下游精度。
Cohere Labs 在其 Discord 社区举办该活动,面向所有人开放。
所属事件:LeCun团队LeVJEPA：视频预训练算力最高省20.8倍(3 条相关)→
「多模态」频道最新
- 作者开源 Impact 版 ADetailer,可在 Forge 复刻 ComfyUI 细节修复流程 — sca285 · 2026-09-23
- 导演用 ChatGPT 和 GPT Image 2.0 产出 AI 短片《End of Summer》 — davidern85 · 2026-09-23
- 躺床上让 Rabbit OS3 自己拍视频，成品居然不错 — SimonBalmain · 2026-09-23
- 「我的狗接管了农场还派我站岗」：Sora 风格 AI 视频又出爆笑名场面 — CloudwiseAIJP · 2026-09-23
- 老照片修复上色实测:Klein 9b 四步 vs Qwen Image 2.1 二十五步 — Ant_6431 · 2026-09-23
- 图生视频一镜到底从平静到灾难级场面，umesh_ai 演示 escalation prompt — umesh_ai · 2026-09-23