Concrete Problems in AI Safety, Revisited
Inioluwa Deborah Raji, Roel Dobbe
ICLR workshop on ML in the R
cs.CY, cs.AI
2023-12-19
Raji 与 Dobbe 用 Uber、特斯拉、Watson 三起事故对照 2016 年 AI 安全奠基分类:官方认定主因多为安全文化与过度依赖,失灵的是社会技术网络而非算法。
2016 年,Amodei 等人发表《Concrete Problems in AI Safety》,把「AI 安全」拆成负面副作用、奖励黑客、可扩展监督、安全探索、分布漂移五类技术问题,这份综述了 170 篇文献的议程论文是技术派 AI 安全研究的起点之一。它对「事故」的定义是:系统以设计者没有预料到、且有害的方式偏离了设计者意图。
Raji(AI Now Institute)与 Dobbe 拿这个定义去对照真实部署失败,发现词汇表对不上。论文的核心论断:真实世界里的安全失效很少是单一技术物件的失灵,更接近一张由用户、开发方、受影响社区之间的无效互动织成的网。
论文从五类问题里挑了三类,每类配一起留有完整官方调查的真实事故,做归纳式诊断:
诊断方式是逐条对照:官方报告认定的可能原因,与安全分类预测的失效模式(监督缺席、安全可中断性失效、代理目标)之间的落差在哪。
| 事故 | 媒体叙事里的技术失效 | 调查认定的主因 |
| Uber 坦佩 | 未识别横穿行人 | 「安全文化不足」:管理层能回看安全员行为,却「几乎从不这么做」 |
| 特斯拉 Williston | 未分清天空与白色挂车 | 「对自动化的过度依赖」,方向盘监控无法保证驾驶员真正参与 |
| Watson 肿瘤 | 建议空泛、跟不上新疗法 | 训练靠指南而非病历,医生不敢用,项目关闭 |
「监督缺席」解释不了 Uber 案:监督功能在,只是组织从来不用。特斯拉案里「安全可中断性」在技术上成立,司机也确实能踩下接管,但长期过度依赖之后,人到出事那一刻已经丧失接管能力。Watson 案里,隐私法挡住了病历,系统只能拿医学指南和期刊当代理目标,MD Anderson 五年 6,200 万美元的投入换来一个跟不上指南修订的系统:2018 年一款按基因突变用药的「不限癌种」新药获批,肺癌治疗指南随即全面修订,而 Watson 不会从这几个新病例学到任何东西,医生自此不再信任它。对照组是 IBM Watson for Genomics:基因数据结构化、按患者唯一,恰好落在机器学习的假设之内,成了最成功的一次 Watson 落地。
负面副作用一类还引出「生产的伤害」概念:人脸识别要靠数百万张人脸起家,标注劳动被压价,大算力训练的碳排放最先落在低收入群体头上。这些伤害在设计决策那一刻就已注定,不需要系统「行动」才发生。
由此归纳出三条主题:看工程实践中的错误(任务设计、规格、构建、验证、集成、维护),不只看理论设计;用真实案例做归纳式验证,不靠推测性模型;考虑更广的利益相关方与互动,正视权力结构、给受影响社区留异议通道,而不是把「对齐设计者意图」当成安全本身。
那份分类至今仍是安全研究的默认坐标,RLHF 时代的「对齐」同样把设计者意图当基准点。这篇论文戳的是这个假设的空洞:意图本身可以有问题,权力不对等决定了对谁而言的「安全」。它也解释了为什么评测分数盖不住部署事故:安全机制的真正生命周期在发布之后,组织是否用它、用户是否理解其边界、异议是否有人听,这些都不在模型权重里。对从业者的直接提醒是,部署后的真实事故调查(NTSB 报告式的材料)是被低估的研究素材,「人会怎么错误地使用安全功能」应该进设计清单。
这是一份 4 页的工作坊论文,自我定位是「进行中工作的初步调查」。只覆盖五类问题中的三类,奖励黑客与分布漂移没有配案例;三起案例都是美国高曝光事件,选取没有系统性标准;每个诊断依赖单一官方报告,没有反事实分析;三条主题是倡议,没有配套的验证机制。写作时间在 2020 年(2023 年底才挂上 arXiv),先于大模型部署浪潮,没有触及当代对齐与评测实践的具体细节。两位作者所在的 AI Now Institute 以批评行业著称,这个立场既是这篇的观察视角,也是读者该带着的警觉。