LeCun 新论文:文本 JEPA 可与 DINOv2 视觉表征对齐,样本省 42 倍
jiqizhixin · x · 2026-11-19
机器之心介绍 Randall Balestriero 与 Yann LeCun(布朗大学、纽约大学、AMI Labs)的 arXiv 预印本:文本编码器与视觉编码器分开训练时,能否学到对齐的表征?
- 瓶颈:caption 同时包含场景信息与描述方式的选择,对单条 caption 做掩码会让两种信息都留在训练信号里。
- 机制:用同一图像的不同 caption 训练 text JEPA;论文在理想化设定(两模态共享正样本对分布、最优解在旋转意义下唯一)下证明了对齐性(仅差一个旋转)。
- 效果:在 WIT-1024 上,109M 参数的 text JEPA 与 DINOv2 ViT-B/14 达到 0.184 的 mutual 10-NN 对齐度,同协议下 Qwen2.5-72B 为 0.154——小得多的模型取得更高对齐(图中标注 42 倍样本效率优势)。
「研究」频道最新
- StatePortal 用 agent 合成检查点,GUI 深状态测试完成率 0%→27.5% — SJUT1 · 2026-11-19
- SADL 插件损失号称把 JEPA 训练崩溃率从 50% 降到 0 — TheTuringPost · 2026-11-19
- PNAS 研究:LLM 写简历与筛选双重放大劳动力市场性别偏见 — AnnaCiaunica · 2026-11-19
- 社区讨论:prefill 用原生精度量化、decode 用高精度 weight-only 可行吗 — AlpinDale · 2026-11-19
- 《The Little Book of ML Metrics》临近正式发售,预售价60美元 — santiviquez · 2026-11-19
- Schmidhuber 发布 AI 全史注释长文:从链式法则到深度学习溯源 — SchmidhuberAI · 2026-11-19