JLD 感知距离:从冻结视觉编码器雅可比矩阵导出,100 张图 35 秒拟合即超 LPIPS
Shreshth Saini · hf · 2026-10-07
研究者提出 Jacobian Lens Distance(JLD),一种不依赖人工标注的图像感知距离度量。
动机:像素误差不符合人类感知;而最精确的感知距离通常拟合人类评分,受限于固定数据与分辨率——如 DISTS 在 TID2013 上分辨率翻倍时相关性从 0.815 降至 0.717。
方法:JLD 从冻结视觉编码器导出感知几何:用编码器雅可比矩阵找出早期 patch 特征空间中对编码器输出影响最大的方向,形成固定度量张量 EJ^T J。只需 100 张无标注图像、约 35 秒即可拟合一次。
结果
- 在 4 个标准感知数据库上达到 SOTA,一致优于 LPIPS、DISTS、PieAPP、DreamSim。
- 对分辨率变化稳健:分辨率翻倍时 lens 项相关性仅从 0.850 降至 0.845。
- JLD-fast 比 LPIPS-VGG 快 4 倍,平均相关性 0.911。
- 可自然扩展到视频:Waterloo IVC 4K 上相关性 0.786(VMAF 为 0.611)。
「多模态」频道最新
- 用 Opus 5.5 + Higgsfield 做电商产品展示动画 — Tegadesigns · 2026-10-07
- Gemini Omni 1.1 实测:用对了方法成片连贯度出人意料 — Cold_Solder_ · 2026-10-07
- EmbeddingGemma 2 多模态搜索演示:一次检索图视频音频 — tomaarsen · 2026-10-07
- 近 4 分钟 AI 科幻预告片 MORO：Agent Two 生成+AI 辅助后期 — LudovicCreator · 2026-10-07
- 独立游戏开发者用 GPT 生成 1200+ 张美术素材,称效率百倍于手绘 — MosskeepForest · 2026-10-07
- AI 视频挑战赛获奖作品:凡尔赛宫搬到火星的 Age Collision — Loo_Atreides · 2026-10-07