NAVER 团队 IDeaL：零真实图像蒸馏四个视觉教师模型
mbsariyildiz · x · 2026-09-01
NAVER LABS Europe 的 ECCV 2026 论文 IDeaL 提出：在多教师蒸馏（如 UNIC 组合 DINO、iBOT、DeiT-3、dBOT）中，当教师的训练数据不可用时，能否完全不用真实图像？答案是肯定的。
方法：把像素当作可学习参数，通过冻结的教师模型优化 Dead Leaves 结构化噪声（教师本身知道什么图像信息量最大），得到看起来不真实但信息量最大的 IDeaL 样本。优化上用两个去相关损失：patch 级（每层 patch 表示两两余弦相似度推离对角线，让 self-attention 有事可做）和图像级（batch 内 CLS 嵌入最小化两两相似度，保证全局多样性），全程无需标签、数据集统计或特权信息。
结果（UNIC 协议：ImageNet 分类、迁移、分割、深度估计）：IDeaL 在所有任务上全面超过 Dead Leaves 基线；学生模型在 3/4 任务上超过最弱教师——即使只用 1K 样本；1K 张 IDeaL 图像在分类上可追平甚至超过 1K 的 ImageNet 子集，大幅缩小与真实图像蒸馏的差距。
所属事件:ECCV 论文 IDeaL 实现零真实图像的多教师蒸馏(4 条相关)→
「研究」频道最新
- 开发者质疑 FrontierCode 基准测试结果异常 — scaling01 · 2026-09-02
- OpenAI HF 事件后，Continuation Observatory 推出 AI 自保行为结构化测量 — coherence · 2026-09-02
- METR 被指用 Redwood 概念推理基准评测 Mythos 5.1 — dfrsrchtwts · 2026-09-02
- Wildstatic 发布会“学习”的 AI 适应层 API — adjohu · 2026-09-02
- Vec2Vec 将编码知识映射为 3D 螺旋形状 — Fear_ltself · 2026-09-02
- 深度解析 CuTeDSL Swizzle 布局与 M 参数计算原理 — snowclipsed · 2026-09-02