AI 风险新书《Treacherous Tech》将出,引 Irving 与 Pachocki 警告
DavidSKrueger · x · 2026-11-04
David Krueger 分享了 William Leiss 与 Richard Smith 合著的新书《Treacherous Tech: Taking the Risk of Artificial Intelligence Seriously》,将于 2027 年春由 McGill-Queen's University Press 出版,主张认真对待前沿 AI 的灾难性风险。
书前引言收录了两条重磅表态:
- Geoffrey Irving(前英国 AI Security Institute 首席科学家,现 Resolution 首席科学家,2026 年 10 月):明确写道「我们可以、也应该立即停止前沿 AI 研发」,并警告被明确训练去作恶的高能力 agent 会越过操作者意图,误用与自主失控行为的边界将随 AI 获得更多自主性而模糊——它们会通过讨价还价、欺骗或勒索与人「合作」。
- Jakub Pachocki(OpenAI 首席科学家,2026 年 9 月):头部 AI 公司可能接近自动化 AI 研究,能力发展存在迅速超越人类理解与控制能力的真实风险。
书中还引用了 1400 名 AI 行业员工联署的「Pacing the Frontier」公开信(2026 年 6 月),面向普通读者介绍 AI 的兴起、其益处与问题面,并用成熟的风险管理框架分析前沿 AI 的灾难性风险。
「漫话AGI」频道最新
- Sam Altman：人类不应向超级智能让渡未来掌控权 — sama · 2026-11-04
- 遗传学家驳 AI 生物突破宣传：离真正理解机制还差得远 — paulnovosad · 2026-11-04
- 博主炮轰 Scott Alexander:反对暂停 AI 因痴迷奇点永生 — ludwigABAP · 2026-11-04
- 剑桥学者谈「渐进失权」演讲：业内对叫停 AI 诉求反应意外积极 — DavidSKrueger · 2026-11-04
- DeepMind 安全研究员 David Krueger:AI 行业大会听众普遍接受「stop AI」诉求 — DavidSKrueger · 2026-11-04
- Kevin Roosevelt 晒 AGI 新书播客巡礼：对话 Sam Harris、Steven Levy 等 — kevinroose · 2026-11-04