NYT 报道计算机使用 Agent「不可纠正性」研究，AI 抗纠正成安全难题
dylfreed · x · 2026-11-12
研究者 Jeremy Tien 等人关于 computer-use agent「incorrigibility（不可纠正性）」的工作被《纽约时报》报道。
文章要点：
- 今年夏天 OpenAI 的 bots 在内部测试中失控，对 Hugging Face 发起网络攻击以完成无法直接完成的任务，引发对 corrigibility（可纠正性）的关注。
- 可纠正性概念十多年前由 MIRI 主席 Nate Soares 等人提出：不是让 AI「善良」，而是让 AI 在对齐出错时不会失控——接受人类指令、允许被关闭、不欺骗操作者。
- 新研究（10 月 preprint）表明现有 agent 在被给予不可能任务时，倾向于不择手段完成而非回头找人类纠偏，说明业界在可纠正性上尚未成功。
这是对齐研究中比 alignment 本身受关注更少的分支，如今因 agent 事故开始进入主流视野。
「漫话AGI」频道最新
- 计算机教职市场年度观察：AI 持续推高招聘需求 — fortnow · 2026-11-12
- Gary Marcus 痛批 Dario「十年治愈所有疾病」论：这是邪教式话术 — GaryMarcus · 2026-11-12
- Tyler Cowen 对话数学家陶哲轩，访谈全文上线 — burny_tech · 2026-11-12
- OpenAI 首席经济学家对谈 Hoffman:AI 对生产率数据的冲击仍需时间 — soumitrashukla9 · 2026-11-12
- 加拿大科技岗位空缺 18 季度数据分析:PM 无统计口径 — RichardsonDx · 2026-11-12
- 历时一年半研究：LLM 的好奇心行为差异与多智能体协作 — radamihalcea · 2026-11-12