无配对训练也行：109M text-JEPA 零样本胜 8B LLM
randall_balestr · x · 2026-10-30
线程补充结果：在 Phillip Isola 团队最新的 pair-free 基准上，109M text-JEPA 在 ImageNet100 上取得 64% 准确率，超过该基准上所有用至多 8B 参数 LLM 报告的零样本结果（最高 56%）——即完全不使用配对数据训练的模型也胜出。作者强调 PRH 的核心是正样本视图的质量而非规模，邀请读者用 demo 上传自己的照片/视频实测。该工作与 Yann LeCun 及 Brown、NYU、ami 合作完成。
所属事件:柏拉图表示假说成定理：JEPA 小模型胜大 LLM(12 条相关)→
「研究」频道最新
- 无配对数据也能跨模态对齐：Wasserstein Procrustes 新论文梳理 — phillip_isola · 2026-10-31
- MIT 教授实测：图像与文本嵌入仅靠一次旋转即可对齐 — phillip_isola · 2026-10-31
- Arena 开放学术合作计划：单个 AI 评测研究项目最高资助 5 万美元 — arena · 2026-10-31
- StudentBench 研究：AI 家教 GRE 提分追平人类，成本仅 1/918 — gharik · 2026-10-31
- WISD:用弱化版模型蒸馏出训练信号,无需特权数据 — jet-ai · 2026-10-31
- Albert Gu 谈 H-Net 学中文：字节流训练初期会切错汉字，最终自己学会 — niloofar_mire · 2026-10-31