TID/TIDE:扩散模型训练数据归因提速 4-5 个数量级,毫秒级出结果
serrjoa · x · 2026-10-09
Sony 团队发布 arXiv 论文《Distilling Diffusion Score Discrepancy for Efficient Training Data Attribution》(Shixuan Liu 等,由 Joan Serrà 参与并推广)。
- 动机:现有扩散模型训练数据归因(TDA)要么需要昂贵的逐样本梯度计算,要么需要针对查询的模型优化,且多数方法归因的是代理损失变化而非真实生成行为变化。
- 方法:用局部 score discrepancy 度量直接构造归因,适用于 DDPM、EDM、flow matching 等任意扩散变体,可表示为预条件梯度相似度而无需重训练。其实例 TID 用 Kronecker 分解曲率避免随机投影和逐样本梯度存储;再蒸馏为前向-only 学生模型 TIDE,从扩散模型内部激活在线复现教师排序。
- 结果:在 CIFAR-10、ArtBench-10、MS-COCO 反事实评估上,TID 匹配或超过 SOTA;TIDE 保留 TID 大部分精度,但每查询成本低 4-5 个数量级,毫秒级完成归因,比生成本身还快。代码即将开源。
所属事件:TIDE 论文：扩散模型训练数据归因提速数个数量级(3 条相关)→
「研究」频道最新
- PredActor 用单一扩散策略统一人形机器人运动生成与控制,G1 端侧跑 50Hz — carlosdponx · 2026-10-09
- 谷歌 FlowAgent 进 CI 修测试失败:195例人工核验67%正确,上线后建议28.5万次 — omarsar0 · 2026-10-09
- 新论文:用随机最优控制协调多个冻结预训练扩散模型 — jmhernandez233 · 2026-10-09
- 自动驾驶仿真新法:以风险百分位精确控制角落场景有多「角落」 — Jiaxi Liu · 2026-10-09
- DSReg 论文：不加解码器也能恢复 JEPA 个体隐变量 — randall_balestr · 2026-10-09
- AI 安全学者对谈：基准越复杂，可被攻击的面就越大 — sarahcat21 · 2026-10-09