NAVER 团队 IDeaL：零真实图像蒸馏四个视觉教师模型
mbsariyildiz · x · 2026-09-01
NAVER LABS Europe 的 ECCV 2026 论文 IDeaL 提出：在多教师蒸馏（如 UNIC 组合 DINO、iBOT、DeiT-3、dBOT）中，当教师的训练数据不可用时，能否完全不用真实图像？答案是肯定的。
方法：把像素当作可学习参数，通过冻结的教师模型优化 Dead Leaves 结构化噪声（教师本身知道什么图像信息量最大），得到看起来不真实但信息量最大的 IDeaL 样本。优化上用两个去相关损失：patch 级（每层 patch 表示两两余弦相似度推离对角线，让 self-attention 有事可做）和图像级（batch 内 CLS 嵌入最小化两两相似度，保证全局多样性），全程无需标签、数据集统计或特权信息。
结果（UNIC 协议：ImageNet 分类、迁移、分割、深度估计）：IDeaL 在所有任务上全面超过 Dead Leaves 基线；学生模型在 3/4 任务上超过最弱教师——即使只用 1K 样本；1K 张 IDeaL 图像在分类上可追平甚至超过 1K 的 ImageNet 子集，大幅缩小与真实图像蒸馏的差距。
所属事件:ECCV 论文 IDeaL 实现零真实图像的多教师蒸馏(4 条相关)→
「研究」频道最新
- MIT SANDO 无人机规划器:12 次真实飞行全部避开移动障碍 — Olivier__OG · 2026-10-18
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18