Time to Fake It: Continual Machine Learning Intensifies Unfairness in Deepfake Detection
Kajaree Das, Oliver Böse, Subarnaduti Paul, Gabriel Storch, Martin Mundt
cs.LG, cs.AI
2026-10-15
不来梅按公开日串起 11 个生成器做持续检测。SOYO 终局准确率约 93%,六种方法的年龄准确率差距都高于直接微调。
Deepfake 生成器几个月换一代。检测器停在旧数据上,换一种合成方法就失效;顺着新数据微调,旧生成器的准确率又被冲掉。这叫 catastrophic forgetting(灾难性遗忘):参数为新任务改写后,旧任务的判别一起垮。
Continual learning(持续学习,边学新数据边记旧数据)被用来补这个洞,Deepfake 文献却几乎只报准确率。Li 等人按「难不难」排生成器,并把每种方法当成单独一类;Fontana 等人按发布年排,仍只看检测对不对。平均准确率正常时,某个年龄或肤色上的漏检和误报可以已经偏了。训练只用真假标签,性别、年龄、肤色不进损失。
另一些实验声称持续学习能提升公平。它们多用一个指标,或把敏感属性拆成前后不相交的任务。新的生成器不按人群分批到来,各组占比在每个数据集里自己变。
不来梅大学从 AI-Face-FairnessBench 抽出 11 个生成器,按公开日串成一条链,从 2019 年 1 月的 FaceForensics++ 到 2023 年 9 月的 Stable Diffusion。中间是 DFD、CelebDF、DFDC、VQGAN、StyleGAN 及后两代、Palette、DCFace。前半换脸,后半从 GAN 走到扩散。Palette 训练集 4804 张,DCFace 有 424452 张。
骨干是 ImageNet 预训练的 ViT-B/16,每步做真假二分类。人口属性只在测试时用:二元性别,五档年龄(child、youth、adult、middle-aged、senior),Monk scale 的 10 档肤色,以及性别乘浅(ST1-3)、中(ST4-7)、深(ST8-10)。
六种方法分三族,两头是对照。Accumulated 用至今全部数据重训,是准确率与公平的上界。Naive 只微调当前生成器,是遗忘的下界。EWC 按 Fisher 信息惩罚对旧任务重要的参数,偏离越大罚越重,λ 为 5000。DER++ 和 GradMatch 各缓冲 3000 张,前者重放旧样本的 logits 与标签,后者按梯度是否接近验证集来挑样本。S-Prompt、PINA、SOYO 冻住骨干,每个生成器只学一段 prompt,测试时按相似度路由到对应的域,不存旧图。
四个差距归一化后,0 是各组一致,靠近 1 更不公平。FDP(demographic parity)比各组被判成 fake 的比例,不管对错。FEOP(equal opportunity)只比假脸被抓住的比例。FEO(equalized odds)把抓住假脸和真人被误报合在一起。FOAE 是各组总准确率的最大差。四个方向会岔开,数字是 5 个种子的平均。
Naive 到第 5 个任务,已见任务平均准确率掉到 46.6%;第 10 个任务之后,第 3 个测试集只剩 13.98%。Accumulated 全程贴近 99%。SOYO 终局平均约 93%,11 个旧任务仍高于 80%。DER++ 和 GradMatch 约 88%,部分旧任务掉破 80%。EWC 的遗忘接近 Naive。PINA 与 S-Prompts 更低,曲线更平。
公平另算。下表固定第一个生成器的测试集:起点是只训完这一任务,其余列是 11 步全部训完。提示族并不从这个起点训起,表上仍拿这一列当参照。
| 方法 | 年龄 FOAE | 肤色 FOAE | 性别 FDP |
| 只训第一个生成器 | 0.060 | 0.070 | 0.001 |
| Accumulated | 0.020 | 0.062 | 0.001 |
| Naive 微调 | 0.104 | 0.414 | 0.176 |
| EWC | 0.109 | 0.457 | 0.143 |
| DER++ | 0.215 | 0.288 | 0.047 |
| GradMatch | 0.221 | 0.231 | 0.068 |
| SOYO | 0.137 | 0.547 | 0.009 |
| S-Prompts | 0.166 | 0.286 | 0.014 |
| PINA | 0.110 | 0.531 | 0.012 |
年龄 FOAE 上六种方法都高于 Naive,幅度并不整齐。PINA 为 0.110,只比微调的 0.104 略高;DER++ 0.215、GradMatch 0.221,约为两倍,起点是 0.060。年龄 FDP 上,DER++ 0.302、GradMatch 0.295,起点 0.111。
SOYO 准确率最高,肤色 FOAE 也最高,为 0.547,PINA 为 0.531,都超过 Naive 的 0.414,起点只有 0.070。EWC 的肤色 FDP 为 0.608,与 Naive 的 0.597 同档。性别上提示族贴近上界:SOYO 的 FDP 为 0.009,Naive 为 0.176,Accumulated 为 0.001。性别乘肤色的 FDP,Naive 0.550、EWC 0.474,SOYO 收到 0.108。
遗忘和公平不落在同一个任务上。DER++ 在第 3 个测试集遗忘约 6%,年龄 FOAE 的升幅却最大;第 4 和第 6 个测试集遗忘只有 4% 到 13%,公平仍明显变差。FDP 有时变好,年龄在第 3 到第 5 个测试集上就是这样;FEO、FEOP、FOAE 以变差为主。FEO 比 FEOP 升得多,多出来的是某些群体的真人被误报成假。
GradMatch 的缓冲占比跟着累计样本量,人少就少复习。SOYO 的路由对不上人头:性别近乎平衡,female 仍更常被送到别的 prompt;child 和 senior 一样稀,路由却接近 adult。深肤色 ST8-10 的路由准确率低于 50%,浅肤色 ST1-3 在 50%-60%,深肤色的累计占比并不更低。EWC 里浅、深两档的保护都弱于中间肤色。Female×dark 累计约 12%,受保护程度却高于约 34% 的 Female×medium。回放跟张数走,路由和正则跟特征走。
检测器要跟上新的 Deepfake,几乎只能持续更新。SOYO 把平均准确率守在约 93%,靠近全部历史数据重训,肤色上的准确率差距却大于直接微调。回放保住了旧生成器,也把年龄偏斜写进 3000 个槽。
FOAE 和 FDP 要一起看,单一个比率盖得住误报。缓解得按方法族设计,训练阶段拿不到性别和肤色,这些属性本身敏感。没有新算法。持续学习不会自动把公平和准确率一起带上来。
落点放在 stability-plasticity 上:参数既要记得旧生成器,也要学得会新的,社会结果应该进入这个权衡。算法没有给。四种公平定义互相冲突,说变好必须点明是哪一种、代价在谁。未见生成器上的零样本检测,全量重训同样做不到。
主表只覆盖第一个生成器在 11 步之后的测试集。提示族在第 8 到第 10 个任务上有过公平改善,第 2 和第 6 个更差。理解成每一步、每个测试集都在变差,这张表撑不住。
缓冲固定 3000,DCFace 训练集有 424452 张,缓冲大小没有扫,槽位不够和抽样策略拆不开。骨干只有 ViT-B/16,λ 是单点 5000。没有和显式优化公平的持续学习对打。能说的是,以准确率为目标的常见做法不够。
VQGAN、Palette、DCFace 的测试真人脸复用更早任务,真人分布被重复。CelebA、MetFaces 等外部训练图没有人口标注,公平评估用不上,训练和测试的人群可以不一致。日期取数据集公开日,可以晚于生成器本身。Fisher 和路由只是观察。和样本量对不上的部分指向表征学习,还没有一次改损失的对照实验把它钉住。