Hugging Face 被黑后,前 OpenAI 董事详解 AI 为何会失控

timrudner · x · 2026-09-20

播客 Offline 主持人 Jon Favreau 邀请 AI 研究员、前 OpenAI 董事会成员 Helen Toner 对谈,回应 Hugging Face 安全攻击事件,讨论「为什么不能直接拔掉 AI 的插头」以及 AI 公司为何要让模型参与制造新模型等热点问题。

Tim Rudner 顺势推荐了他与 Toner 2021 年合写的非技术向论文《Key Concepts in AI Safety: Specification in Machine Learning》。该文是 CSET 机器学习安全系列第四篇,讲解 specification(规约)问题:如何向 ML 系统精确传达设计者意图——很多任务难以用数学语言刻画细微意图,正如迈达斯王、魔法师的学徒等经典寓言,你可能精确得到你所要求的、却非你所想要的。这篇解释了 AI 为何会「跑偏失准」的旧文,在今天 agent 自主性增强的背景下更显相关。