Influence Matching 提升数据集蒸馏，在两项基准上刷新结果
TheHKU · hf · 2026-07-24
论文 Dataset Distillation by Influence Matching 重新审视了数据集蒸馏问题，提出从“最终效果”而不是“训练过程”出发来做匹配。
- 传统做法常对齐逐步梯度或训练轨迹；这篇工作改为匹配训练收敛后参数的最终变化。
- 作者提出了一个可微的、样本级的影响力估计器，用来衡量数据增删对参数的影响。
- 该估计器通过展开优化动态并做一阶泰勒近似实现，避免了逆 Hessian 和凸性假设。
- 目标是学习一个紧凑的合成数据集，使其影响与真实数据集的影响尽量一致。
摘要里给出的结果包括：
- Tiny-ImageNet（IPC=10）达到 31.5%，比 NCFM 高 4.7 个百分点
- 在 Flickr30K 的视觉-语言蒸馏上，使用 200–1000 个合成样本，在图文检索任务上的平均表现比强基线高 2.5%
作者还说明代码将通过链接的 GitHub 仓库发布。
「研究」频道最新
- 一份 64 页讲义系统梳理了多向量搜索模型 — IgorCarron · 2026-07-24
- NeurIPS 2026 workshop 聚焦 AI 生物方向失败模式 — anshulkundaje · 2026-07-24
- S-Agent 用行动链做空间推理，MMSI-Bench 零样本达 46.4% — 机器之心 · 2026-07-24
- 若 LLM 只会解存在性问题，数学界或仍难大变 — JFPuget · 2026-07-24
- 一种新思路把微调权重与基座模型差分可视化 — DominiqueCAPaul · 2026-07-24
- AI 周刊第 465 期：Kimi K3、Opik 诊断与新论文 — dl_weekly · 2026-07-24