LeVJEPA 大幅简化视频自监督学习，算力降 5-20 倍
ylecun · x · 2026-08-30
LeVJEPA 提出了一种大幅简化视频自监督学习的方法，在实现与传统方法同等或更优性能的同时，将计算量减少了 5 到 20 倍。
- 解决痛点：视频学习计算成本高，且传统方法需 EMA、stop-gradient 等复杂机制防止表征崩溃。
- 核心机制：从视频提取 16 帧剪辑，分为全局和局部视图。通过单一编码器，利用 CLS token 汇聚全局信息（非因果），而 Patch token 仅关注当前及过去时刻（因果）。
- 训练目标：将全局和局部视图的潜在表征通过 MSE 逼近。
论文主张，从视频进行的预训练未来可能成为视觉基础模型学习的标准方法。
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16