NeurIPS 新方法将 ImageNet 每类 1300 张图蒸馏成 10 张

kastnerkyle · x · 2026-11-15

Giannis Daras 团队在 #neurips2026 发布「Dataset Distillation via Drifting」：不同于常见的模型蒸馏，这个方法蒸馏的是数据集本身，可把 ImageNet 每类约 1300 张训练图压缩为仅 10 张从噪声优化出的合成图。合成图看起来略微不自然，这是刻意设计——把多个真实样本的概念纠缠进一张合成样本中。用这些图训练的模型在分类等下游任务上表现良好。作者还展示了一个艺术玩法：可以把一位艺术家的全部作品「总结」成一幅画（配图即为一幅米罗风格的蒸馏结果）。