专题 · FULL STORY

纽约AI听证会:吹哨人警告失控风险

纽约市议会举行大规模 AI 风险听证会,前 Anthropic 研究员 Jacob Coxon、前 OpenAI 研究员 Daniel Kokotajlo 等吹哨人作证,警告 AI 失控风险并推动外部验证立法。会后 Coxon 密集发声,做客《每日秀》进一步阐述失控风险与后工作社会图景。

2026-10-05 ~ 2026-10-08 · 2 集 · 29 条

第 1 集 · 纽约市议会AI听证会:吹哨人警告失控风险并推动外部验证立法(2026-10-05,22 条)

纽约市议会举行大规模AI风险听证会,前Anthropic研究员Jacob Coxon、前OpenAI研究员Daniel Kokotajlo等吹哨人集中作证,警告人类尚无控制AI系统的手段、按当前路径可能失去控制甚至以灭绝告终。听证会同期,纽约市正审议一项法案:未经外部验证的AI模型不得在本地销售,每次违规罚款2.5万美元,若通过纽约市或成为首个强制AI模型上市前外部验证的美国城市。

已确认

  • Coxon表示最令他担忧的两点:目前还不知道如何控制任何AI系统、AI能力提升速度正在加速;依赖「杀死开关」等紧急停机机制不足以保证安全。CNBC等媒体有报道
  • Coxon作证称「按当前路径,人类更可能失去对这些AI的控制,最终可能以人类灭绝告终」;据heyshrutimishra转述,他曾在OpenAI和Anthropic从事前沿模型研发,并说明了自己离职的两个原因;记者Steph Palazzolo现场报道他是上月公开从Anthropic辞职的抗议者
  • Coxon称自动化AI研究已成前沿公司首要目标——「这就是它们真正在冲刺的方向」,并称自己在上一份工作某种意义上是在「自动化自己」,提到OpenAI设定了2027-28年自动化AI研究员的里程碑、且可能数月内达成。Palazzolo评价该听证会「更像一场表演」,但认为吹哨人关于AI研究正被快速自动化的言论值得关注
  • Kokotajlo作证称如今大部分代码已由AI编写但审查把关远跟不上,并认为察觉对齐问题的能力本已相当差、近期还会大幅恶化,叠加行业「快速行动、打破一切」的作风,整个行业处于巨大风险之中;Gary Marcus多次转发认同
  • Gary Marcus出席作证并提前公开证词节选,同时纠正听证会开场白「我们还不知道如何控制任何AI系统」的说法:AlphaGo、GPS路由等许多AI系统并无控制问题,问题出在生成式AI
  • Marcus另转述:市议员Alexa Avilés要求科技公司高管宣誓保证其AI系统会遵守安全指令,而他们做不到;他抨击OpenAI人士Morgan Dwyer「可以承诺不发布自己认为不安全的模型」的表态「近乎伪证」
  • 听证会由议长Julie Menin主持,共设14个证人小组,首个小组为安全专家与吹哨人;据Annie McDonough现场更新,进行近三小时仍停留在第2小组,约30名议员报名质询科技公司。Miles Brundage、Rosie Campbell等人也登台作证;OpenAI、Anthropic、Google、Meta均派代表出席
  • Menin表示将要求各公司解释AI风险,并就潜在立法方案表态;听证会前一天,Politico报道Sam Altman称「世界应接受这项技术带来的一些坏处以换取其收益」

为什么重要

  • 这是AI安全研究者与吹哨人罕见地在地方立法层面集中公开作证,直接推动纽约市可能成为首个要求AI模型上市前外部验证的美国城市,2.5万美元/次的罚款机制亦具示范意义;吹哨人关于自动化AI研究、AI代码审查缺位乃至人类灭绝风险的证词,为立法提供了来自内部一线的依据

还有 2 条相关讨论 →

第 2 集 · 前Anthropic研究员密集发声警告AI失控风险(2026-10-07,7 条)

前Anthropic(并曾任职OpenAI)研究员Jacob Coxon在因认为AI公司「拿人命赌博」而辞职、放弃七位数薪酬后,近日密集出现在主流媒体与立法场合:他在纽约市议会听证会上作证,并做客Jon Stewart的《每日秀》,核心信息是AI失控风险迫近以及就业将被自动化经济取代。其高调发声使其成为AI安全议题的公众面孔之一,也引发社区对这类警告可信度与影响的讨论。

已确认

  • 在纽约市议会听证会上,Coxon作证称「在当前路径下,人类更有可能失去对先进AI的控制,甚至可能以人类灭绝告终」
  • 他给出时间预测:2027或2028年左右出现「自动化AI研究员」(automated AI researcher)
  • 据Reddit讨论帖转述,其离职理由是模型研发中约26%已是「模型在造模型」,递归自我改进(RSI)在2027年不再是预测而是正在发生
  • 在《每日秀》上,他与Jon Stewart讨论AI导致岗位消失、全民基本收入(UBI)及科技CEO是否在打造反乌托邦未来
  • 他主张「这些技术建造公司所设想的世界里将不存在工作」,而是由完全自主的经济生产产生分红,为全体真实人类带来普遍高收入;但他自评这次沟通「基本是一次修辞上的失败」,因为观众不相信利益会被公平分配
  • 他曾任职于OpenAI与Anthropic

为什么重要

  • Coxon是少数以辞职方式公开决裂、又密集出现在主流媒体与立法听证场合的前沿实验室内部人士,其证词可能影响地方与公众对AI监管的讨论
  • 「自动化AI研究员2027-28年出现」与RSI正在发生的判断,为递归自我改进这一关键风险提供了具体时间框架,引发社区对可信度的讨论(如@chemistslime即持观望态度,讨论此类高调警告对本地AI社区的实际影响)
  • 他将AI风险与「后稀缺社会如何分配利益」联系起来,触及UBI与技术乐观主义能否说服公众的核心争议