UnAct:免梯度机器遗忘,仅需 5 张图误差仅 0.21 点
GAASH-Lab · hf · 2026-10-07
GAASH-Lab 提出 UnAct,一种免梯度(gradient-free)的类别遗忘方法,用于在已训练模型中移除指定类别数据的影响而无需重新训练。
核心思路
- 不同于 SSD/LFSSD 仍需全数据集反向传播计算参数重要性,UnAct 只需对遗忘类别的图像做前向传播
- 按响应给网络深层单元打分,衰减响应最强的连接,最多迭代 20 轮,全程无需梯度、标签或保留数据
实验结果(ResNet-18)
- 全类遗忘上与 SSD/LFSSD 相当,但在遗忘数据稀缺时不会导致网络崩溃
- 保留精度与重训练差距保持在 2.5 点内,而 SSD/LFSSD 在某些类别上最高损失 86 点
- CIFAR-10 上仅有 5 张遗忘图时,与重训练距离仅 0.21 点(LFSSD 为 67、SSD 为 90)
- 初步迁移到 ViT-B/16:距离 11.5 vs SSD 的 33.7,且比 SSD 快 19 倍
代码已开源:github.com/abdulmuizz0903/UnAct
「研究」频道最新
- NYU 提出 CIA 指标:LLM 思维链仅 44.8%-75.9% 反映内部计算 — newyorkuniversity · 2026-10-07
- 牛津 AI Theorist 自主破解 α-RuCl₃ 光谱之谜,AI4Science 里程碑 — Oxford · 2026-10-07
- HERMES 用可执行 Dev-Primitives 提升 SWE agent 成绩 12.4% — Haibo Jin · 2026-10-07
- 高通投机执行法:端侧语音助手响应延迟中位数降至 4.60 秒 — Qualcomm-AI-Research · 2026-10-07
- ALIVE 让视频插入物体「活起来」,交互指标超基线 43.9% — university-of-rochester · 2026-10-07
- 微软 DiVeR:决策关键状态加权验证器,提升 VLA 任务成功率 — MicrosoftResearch · 2026-10-07