Shortcut Learning in Deep Neural Networks
Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, Felix A. Wichmann
Nature Machine Intelligence (h
cs.CV, cs.AI, cs.LG, q-bio.NC
2020-04-17
Geirhos 等人把对抗样本、跨数据集失灵、医疗模型认医院不认病等乱象统一归因于「捷径学习」:模型学的是统计捷径而非任务本意,治本要用 OOD 测试取代 i.i.d. 测试。
深度学习一路赢,但赢得很怪:图像分类已经「超人」,可把一张车的照片平移几个像素、换个背景,预测就崩;给图片配字幕的模型,不看图也能编出像样的字幕;一个识别肺炎的模型在多家医院表现很好,换到新医院却拉胯,后来发现它在靠片子里医院特有的金属标记判断,根本没学会认肺炎。
这篇 2020 年发在 Nature Machine Intelligence 的 perspective 想说的是:这些看起来各不相关的翻车,是同一个病的不同症状。病根叫「捷径学习」(shortcut learning),模型学到的不是任务本意想要的解法,而是数据里某个碰巧管用的捷径特征。捷径在标准测试集(i.i.d.)上表现很好,一旦换到分布外(OOD)就露馅。
论文给了一张决策规则的分类谱,把模型可能学到的解法从松到紧排成四档:
关键洞见在第三档和第四档之间:只要只在 i.i.d. 数据上测,你永远分不清模型是用形状、还是用位置、还是数白色像素数对的,这三条路在训练集上得分一样高。一个简单的星月分类玩具实验演示了这点:全连接网络训练集 100% 准确,可它学到的是「星星在右上、月亮在左上」这种位置规律,把测试图随机摆放后准确率掉到 51%(等于瞎猜);换成卷积网络,因为架构本身就压制了位置捷径,训练和测试都 100%。
论文把捷径的来源拆成四个互相咬合的部件:架构、训练数据、损失函数、优化器,合称模型的「归纳偏置」。其中交叉熵损失会在找到简单预测因子后鼓励模型停下学习,梯度下降天生偏向简单函数,这就是为什么捷径比正解「好学」。
捷径横跨各领域,不只计算机视觉:
| 领域 | 捷径表现 |
| 视觉 | 靠纹理不靠形状;靠背景(牛=草地)认物体 |
| NLP | BERT 靠句子里的「not」猜论证对错,不看内容 |
| 强化学习 | 玩俄罗斯方块靠「暂停」逃避输;超级马里奥靠时间旅行漏洞通关 |
| 公平性 | 亚马逊招聘模型把性别当强预测因子,删了名字也能从女子大学名反推 |
更扎心的是,捷径学习在生物身上也有:迷宫里的老鼠貌似靠颜色认路,其实是闻涂料气味;死记硬背的学生选择题考高分,论述题就原形毕露。论文据此提出一条「机器学习的摩根准则」:凡能用捷径解释的行为,就不要归因于高级能力。
这篇的价值不在某个新算法,而在给整个领域一面统一的镜子。从此对抗鲁棒性、域适应、因果表征、公平性这些原本各做各的方向,有了一个共同的话题:它们都在和捷径作斗争。
对从业者的直接提醒是:i.i.d. 测试集上刷到的高分,不能等同于模型真的学会了你想要的能力。要验证,就得做 OOD 测试。ImageNet-C(15 种图像扰动)、ObjectNet、cue-conflict 刺激这类专门设计的分布外基准,才是更接近真相的考场。
作为 perspective,它整合现象而非提出新方法,论证靠大量引用既有工作,没有系统性实验对比。玩具实验(星月分类)过于简化,只能说明「捷径会发生」,量化不了真实任务上的严重程度。
它推荐的 OOD 测试也不是一劳永逸:论文自己承认好的 OOD 基准会随模型进化而过时(温诺格拉德 schema 就是例证),且「什么是任务本意的解法」本身常常说不清。另外,把捷径和生物的「无意线索学习」类比虽有启发性,但跨学科的映射更多是修辞类比,不是严格证明。