专题 · FULL STORY
纽约AI听证会:吹哨人警告失控风险
纽约市议会举行大规模 AI 风险听证会,前 Anthropic 研究员 Jacob Coxon、前 OpenAI 研究员 Daniel Kokotajlo 等吹哨人作证,警告 AI 失控风险并推动外部验证立法。会后 Coxon 密集发声,做客《每日秀》进一步阐述失控风险与后工作社会图景。
2026-10-05 ~ 2026-10-08 · 2 集 · 29 条
第 1 集 · 纽约市议会AI听证会:吹哨人警告失控风险并推动外部验证立法(2026-10-05,22 条)
纽约市议会举行大规模AI风险听证会,前Anthropic研究员Jacob Coxon、前OpenAI研究员Daniel Kokotajlo等吹哨人集中作证,警告人类尚无控制AI系统的手段、按当前路径可能失去控制甚至以灭绝告终。听证会同期,纽约市正审议一项法案:未经外部验证的AI模型不得在本地销售,每次违规罚款2.5万美元,若通过纽约市或成为首个强制AI模型上市前外部验证的美国城市。
已确认
- Coxon表示最令他担忧的两点:目前还不知道如何控制任何AI系统、AI能力提升速度正在加速;依赖「杀死开关」等紧急停机机制不足以保证安全。CNBC等媒体有报道
- Coxon作证称「按当前路径,人类更可能失去对这些AI的控制,最终可能以人类灭绝告终」;据heyshrutimishra转述,他曾在OpenAI和Anthropic从事前沿模型研发,并说明了自己离职的两个原因;记者Steph Palazzolo现场报道他是上月公开从Anthropic辞职的抗议者
- Coxon称自动化AI研究已成前沿公司首要目标——「这就是它们真正在冲刺的方向」,并称自己在上一份工作某种意义上是在「自动化自己」,提到OpenAI设定了2027-28年自动化AI研究员的里程碑、且可能数月内达成。Palazzolo评价该听证会「更像一场表演」,但认为吹哨人关于AI研究正被快速自动化的言论值得关注
- Kokotajlo作证称如今大部分代码已由AI编写但审查把关远跟不上,并认为察觉对齐问题的能力本已相当差、近期还会大幅恶化,叠加行业「快速行动、打破一切」的作风,整个行业处于巨大风险之中;Gary Marcus多次转发认同
- Gary Marcus出席作证并提前公开证词节选,同时纠正听证会开场白「我们还不知道如何控制任何AI系统」的说法:AlphaGo、GPS路由等许多AI系统并无控制问题,问题出在生成式AI
- Marcus另转述:市议员Alexa Avilés要求科技公司高管宣誓保证其AI系统会遵守安全指令,而他们做不到;他抨击OpenAI人士Morgan Dwyer「可以承诺不发布自己认为不安全的模型」的表态「近乎伪证」
- 听证会由议长Julie Menin主持,共设14个证人小组,首个小组为安全专家与吹哨人;据Annie McDonough现场更新,进行近三小时仍停留在第2小组,约30名议员报名质询科技公司。Miles Brundage、Rosie Campbell等人也登台作证;OpenAI、Anthropic、Google、Meta均派代表出席
- Menin表示将要求各公司解释AI风险,并就潜在立法方案表态;听证会前一天,Politico报道Sam Altman称「世界应接受这项技术带来的一些坏处以换取其收益」
为什么重要
- 这是AI安全研究者与吹哨人罕见地在地方立法层面集中公开作证,直接推动纽约市可能成为首个要求AI模型上市前外部验证的美国城市,2.5万美元/次的罚款机制亦具示范意义;吹哨人关于自动化AI研究、AI代码审查缺位乃至人类灭绝风险的证词,为立法提供了来自内部一线的依据
- 前 Anthropic 研究员将出席纽约市听证会,AI 安全新规讨论在即 — Polymarket · 2026-10-05
- Gary Marcus 将出席纽约市 AI 风险听证会并作证 — GaryMarcus · 2026-10-05
- 四大 AI 巨头高管将出席纽约市议会听证,就 AI 风险作证 — pstAsiatech · 2026-10-05
- Gary Marcus:可控的不是AI,是生成式AI该暂停 — GaryMarcus · 2026-10-05
- Gary Marcus 反驳纽约市议会「AI 无法控制」论:生成式 AI 才是问题 — GaryMarcus · 2026-10-05
- Gary Marcus 认同:大部分代码由 AI 写、没人细查,这很不负责任 — GaryMarcus · 2026-10-05
- Gary Marcus 转述纽约听证会:多数代码已由 AI 编写却缺乏审查 — GaryMarcus · 2026-10-05
- Kokotajlo:察觉对齐问题的能力很差且将更糟,行业风险巨大 — GaryMarcus · 2026-10-05
- 纽约市议会开审 AI 安全,Brundage 等多位研究者登台作证 — teortaxesTex · 2026-10-05
- 纽约市议会办 AI 风险听证:OpenAI 等 four 大厂与吹哨人同场 — steph_palazzolo · 2026-10-05
- 纽约市拟立法强制 AI 模型外部验证,未验证销售每次罚 2.5 万美元 — rohanpaul_ai · 2026-10-06
- 同事件补充:Coxon 警示失控论背后的纽约 AI 监管听证 — rohanpaul_ai · 2026-10-06
- Gary Marcus 爆料:科技巨头无法宣誓保证 AI 遵守安全指令 — GaryMarcus · 2026-10-06
- Gary Marcus 炮轰 OpenAI 承诺:不发布认为不安全的模型近乎伪证 — GaryMarcus · 2026-10-06
- 前 Anthropic 研究员告诉纽约议员:我们尚不知如何控制任何 AI 系统 — Polymarket · 2026-10-06
- 纽约市议会 AI 听证会设 14 个小组,科技公司将接受长达数小时质询 — Miles_Brundage · 2026-10-06
- 纽约市议会 AI 举报人听证:Kokotajlo 等警告 AI 能力失控风险 — sjgadler · 2026-10-06
- NYC 议会 AI 听证会:研究者称尚无控制任何 AI 系统的方法 — RebeccaBellan · 2026-10-06
- AI 安全吹哨人 Jacobs Coxon 等出席纽约市议会作证 — shiringhaffary · 2026-10-06
- 前 Anthropic 研究员纽约议会作证:OpenAI 设 2027-28 自动化 AI 研究员里程碑,数月内或达成 — rohanpaul_ai · 2026-10-06
第 2 集 · 前Anthropic研究员密集发声警告AI失控风险(2026-10-07,7 条)
前Anthropic(并曾任职OpenAI)研究员Jacob Coxon在因认为AI公司「拿人命赌博」而辞职、放弃七位数薪酬后,近日密集出现在主流媒体与立法场合:他在纽约市议会听证会上作证,并做客Jon Stewart的《每日秀》,核心信息是AI失控风险迫近以及就业将被自动化经济取代。其高调发声使其成为AI安全议题的公众面孔之一,也引发社区对这类警告可信度与影响的讨论。
已确认
- 在纽约市议会听证会上,Coxon作证称「在当前路径下,人类更有可能失去对先进AI的控制,甚至可能以人类灭绝告终」
- 他给出时间预测:2027或2028年左右出现「自动化AI研究员」(automated AI researcher)
- 据Reddit讨论帖转述,其离职理由是模型研发中约26%已是「模型在造模型」,递归自我改进(RSI)在2027年不再是预测而是正在发生
- 在《每日秀》上,他与Jon Stewart讨论AI导致岗位消失、全民基本收入(UBI)及科技CEO是否在打造反乌托邦未来
- 他主张「这些技术建造公司所设想的世界里将不存在工作」,而是由完全自主的经济生产产生分红,为全体真实人类带来普遍高收入;但他自评这次沟通「基本是一次修辞上的失败」,因为观众不相信利益会被公平分配
- 他曾任职于OpenAI与Anthropic
为什么重要
- Coxon是少数以辞职方式公开决裂、又密集出现在主流媒体与立法听证场合的前沿实验室内部人士,其证词可能影响地方与公众对AI监管的讨论
- 「自动化AI研究员2027-28年出现」与RSI正在发生的判断,为递归自我改进这一关键风险提供了具体时间框架,引发社区对可信度的讨论(如@chemistslime即持观望态度,讨论此类高调警告对本地AI社区的实际影响)
- 他将AI风险与「后稀缺社会如何分配利益」联系起来,触及UBI与技术乐观主义能否说服公众的核心争议
- 前 Anthropic 研究员:未来将没有工作,只有全自主经济分红的高收入 — kimmonismus · 2026-10-07
- 前 Anthropic 研究员上 Jon Stewart 节目:未来没有岗位,只有普遍高收入 — Neurogence · 2026-10-07
- 前Anthropic研究员做客每日秀,与Jon Stewart聊AI失业与全民收入 — AlexTensor · 2026-10-07
- 前 OpenAI/Anthropic 研究员:2027-28 年或现自动化 AI 研究员 — rohanpaul_ai · 2026-10-07
- 前 OpenAI/Anthropic 研究员赴纽约市议会作证:人类恐失控于 AI — fortune · 2026-10-07
- 前 OpenAI/Anthropic 研究员上节目警告当前形态 AI 的危险 — chemist_slime · 2026-10-08
- 前 Anthropic 员工 Jacob Coxon 放弃七位数薪酬,警告模型自我改进临近 — cen6wkf · 2026-10-08