Meta 被忽视的新论文：JEM 自监督框架在 7B 规模超越 DINOv3
iScienceLuvr · x · 2026-10-26
Meta 研究者的论文《Scalable Patch-Level Self-Supervised Learning》提出 JEM——一个从多视角假设出发、经信息论目标推导出的学生-教师式自监督学习方法，通过对齐不同视角的 patch 表征学习，并以信息保持与结构保持损失做显式正则化。
要点：
- 从 300M 到 7B 参数全程训练稳定，据称是首个验证到 7B 规模的潜空间 patch 级自监督方法
- 各规模下在全局与稠密探测任务上表现强劲，分割基准上一致超过 DINOv2
- 7B 参数下在全景分割上超越 DINOv3，且训练数据少 12 倍、无精修阶段
- 结论：无需堆砌多个目标函数与稳定化技巧，也能做出有原则且高性能的 SSL 算法
所属事件:Meta 发布自监督框架 JEM，小数据量超越 DINOv3(2 条相关)→
「研究」频道最新
- Anthropic 可解释性演示翻车:激活"tiny 神经元"后 AI 念叨自己很小 — Sauers_ · 2026-10-26
- 研究发现操控「情绪神经元」可左右模型的社会决策行为 — burny_tech · 2026-10-26
- Jurafsky & Martin 教材 17 页 HMM 专章 PDF 免费分享 — burny_tech · 2026-10-26
- 两篇 LLM 机械可解释性研究登陆 EMNLP：Agent 做电路解释与代码安全转向 — ZiyuYao · 2026-10-26
- Lafa 论文:流模型改自回归权重扩到 8B,吞吐达 AR 2.54 倍 — burny_tech · 2026-10-26
- 谁来做下一个Distill？交互式ML科普平台停更已四年 — k7agar · 2026-10-26