LeVJEPA：无需复杂组件的视频预训练新范式
randall_balestr · x · 2026-08-28
Randall Balestr 介绍了 LeVJEPA，这是一种用于视频基础模型预训练的新方法，基于 SIGReg（Sign Regularization）。
主要技术特点：
- 极简损失函数：仅使用单一的损失超参数（lambda），平衡 sigreg 和预测损失，在所有运行中保持恒定。
- 移除复杂组件：不需要 tubelet（小管）、帧聚合、EMA（指数移动平均）、stop-gradient 等常见组件。
- 掩码策略：完全基于 patch 的独立同分布（iid）掩码，不再使用结构化掩码或手工调整的启发式方法。
性能表现：
- 在几乎不调整超参数的情况下实现了稳定的训练配方。
- 计算效率比 VJEPA 1/2 高出 20 倍，甚至可以在单个游戏 GPU 上训练视频模型。
所属事件:LeCun 团队发布 LeVJEPA，视频预训练算力最高降 20 倍(6 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树，摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries：智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15