20 H100 小时训练 JEM 逼近微调 DINOv3，patch 特征可视化对比
randall_balestr · x · 2026-11-10
作者 Simon Goodman 完成了 100 个 epoch 的 JEM 训练，在约 25 万张植物图像的数据集上仅用 20 多个 H100 小时，效果距离一个见过的数据多得多的微调版 DINOv3（supervised checkpoint 来自 Pl@ntNet）只差 1 个点。
要点：
- 特征可视化：用 PCA→RGB 对 final patch tokens 做可视化，横向对比 LeJEPA（tuned）、JEM、JEM 去掉 LayerScale、以及 supervised DINOv3 四种模型在常见/稀有植物类别上的表现。
- 有趣发现：LeJEPA 虽然性能更差，但因为其只在 global embedding 上计算 loss、patch tokens 从不参与损失，特征图反而很 crisp。
- LayerScale 结论：从 JEM 中移除 LayerScale 是正确的选择——去掉后特征图更平滑，能干净地分割出叶片和花朵。
- 待解决的问题：稀有类别（如仅有 515 张训练图的类别）表现较差，作者怀疑是采样问题，但不想简单通过过采样解决；另外 LeJEPA baseline 仍在调优中（正在用 Claude 帮忙调）。
「研究」频道最新
- MSK 联合 Illumina AI 实验室发布人体 anellovirus 持续性调控研究 — SeyoneC · 2026-11-10
- 6 推长文：专用模型统一成端到端系统，编排逻辑将被训练取代 — andreisavu · 2026-11-10
- 审稿人吐槽:NeurIPS 2026 拒稿几乎原样改投 ICLR 2027 再遭低分 — 3scorciav · 2026-11-10
- HARP-Bench:37 任务测机器人与人类协作，主流策略成功率仅 9-19% — gan_chuang · 2026-11-10
- 研究：VLA 推理仅跑 1 步 Euler 即可,提速 1.6-4.8 倍 — kaixhin · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10