纽约市议会AI听证会:吹哨人警告失控风险并推动外部验证立法
纽约市议会举行大规模AI风险听证会,前Anthropic研究员Jacob Coxon、前OpenAI研究员Daniel Kokotajlo等吹哨人集中作证,警告人类尚无控制AI系统的手段、按当前路径可能失去控制甚至以灭绝告终。听证会同期,纽约市正审议一项法案:未经外部验证的AI模型不得在本地销售,每次违规罚款2.5万美元,若通过纽约市或成为首个强制AI模型上市前外部验证的美国城市。
已确认
- Coxon表示最令他担忧的两点:目前还不知道如何控制任何AI系统、AI能力提升速度正在加速;依赖「杀死开关」等紧急停机机制不足以保证安全。CNBC等媒体有报道
- Coxon作证称「按当前路径,人类更可能失去对这些AI的控制,最终可能以人类灭绝告终」;据heyshrutimishra转述,他曾在OpenAI和Anthropic从事前沿模型研发,并说明了自己离职的两个原因;记者Steph Palazzolo现场报道他是上月公开从Anthropic辞职的抗议者
- Coxon称自动化AI研究已成前沿公司首要目标——「这就是它们真正在冲刺的方向」,并称自己在上一份工作某种意义上是在「自动化自己」,提到OpenAI设定了2027-28年自动化AI研究员的里程碑、且可能数月内达成。Palazzolo评价该听证会「更像一场表演」,但认为吹哨人关于AI研究正被快速自动化的言论值得关注
- Kokotajlo作证称如今大部分代码已由AI编写但审查把关远跟不上,并认为察觉对齐问题的能力本已相当差、近期还会大幅恶化,叠加行业「快速行动、打破一切」的作风,整个行业处于巨大风险之中;Gary Marcus多次转发认同
- Gary Marcus出席作证并提前公开证词节选,同时纠正听证会开场白「我们还不知道如何控制任何AI系统」的说法:AlphaGo、GPS路由等许多AI系统并无控制问题,问题出在生成式AI
- Marcus另转述:市议员Alexa Avilés要求科技公司高管宣誓保证其AI系统会遵守安全指令,而他们做不到;他抨击OpenAI人士Morgan Dwyer「可以承诺不发布自己认为不安全的模型」的表态「近乎伪证」
- 听证会由议长Julie Menin主持,共设14个证人小组,首个小组为安全专家与吹哨人;据Annie McDonough现场更新,进行近三小时仍停留在第2小组,约30名议员报名质询科技公司。Miles Brundage、Rosie Campbell等人也登台作证;OpenAI、Anthropic、Google、Meta均派代表出席
- Menin表示将要求各公司解释AI风险,并就潜在立法方案表态;听证会前一天,Politico报道Sam Altman称「世界应接受这项技术带来的一些坏处以换取其收益」
为什么重要
- 这是AI安全研究者与吹哨人罕见地在地方立法层面集中公开作证,直接推动纽约市可能成为首个要求AI模型上市前外部验证的美国城市,2.5万美元/次的罚款机制亦具示范意义;吹哨人关于自动化AI研究、AI代码审查缺位乃至人类灭绝风险的证词,为立法提供了来自内部一线的依据
2026-10-05 ~ 2026-10-07 · 22 条相关
- 第 1 集:纽约市议会AI听证会:吹哨人警告失控风险并推动外部验证立法(2026-10-05,22 条)
- 第 2 集:前Anthropic研究员密集发声警告AI失控风险(2026-10-07,7 条)
一手来源
- 纽约市议会办 AI 风险听证:OpenAI 等 four 大厂与吹哨人同场 — steph_palazzolo ·
- 前 Anthropic 研究员纽约议会作证:OpenAI 设 2027-28 自动化 AI 研究员里程碑,数月内或达成 — rohanpaul_ai ·
- 纽约市拟立法强制 AI 模型外部验证,未验证销售每次罚 2.5 万美元 — rohanpaul_ai ·
- 前 Anthropic 研究员将出席纽约市听证会,AI 安全新规讨论在即 — Polymarket · 2026-10-05
- Gary Marcus 将出席纽约市 AI 风险听证会并作证 — GaryMarcus · 2026-10-05
- 四大 AI 巨头高管将出席纽约市议会听证,就 AI 风险作证 — pstAsiatech · 2026-10-05
- Gary Marcus:可控的不是AI,是生成式AI该暂停 — GaryMarcus · 2026-10-05
- Gary Marcus 认同:大部分代码由 AI 写、没人细查,这很不负责任 — GaryMarcus · 2026-10-05
- Gary Marcus 转述纽约听证会:多数代码已由 AI 编写却缺乏审查 — GaryMarcus · 2026-10-05
- Kokotajlo:察觉对齐问题的能力很差且将更糟,行业风险巨大 — GaryMarcus · 2026-10-05
- 纽约市议会开审 AI 安全,Brundage 等多位研究者登台作证 — teortaxesTex · 2026-10-05
- 【源头】纽约市议会办 AI 风险听证:OpenAI 等 four 大厂与吹哨人同场 — steph_palazzolo · 2026-10-05
- 【源头】纽约市拟立法强制 AI 模型外部验证,未验证销售每次罚 2.5 万美元 — rohanpaul_ai · 2026-10-06
- 同事件补充:Coxon 警示失控论背后的纽约 AI 监管听证 — rohanpaul_ai · 2026-10-06
- Gary Marcus 爆料:科技巨头无法宣誓保证 AI 遵守安全指令 — GaryMarcus · 2026-10-06
- Gary Marcus 炮轰 OpenAI 承诺:不发布认为不安全的模型近乎伪证 — GaryMarcus · 2026-10-06
- 前 Anthropic 研究员告诉纽约议员:我们尚不知如何控制任何 AI 系统 — Polymarket · 2026-10-06
- 纽约市议会 AI 听证会设 14 个小组,科技公司将接受长达数小时质询 — Miles_Brundage · 2026-10-06
- 纽约市议会 AI 举报人听证:Kokotajlo 等警告 AI 能力失控风险 — sjgadler · 2026-10-06
- NYC 议会 AI 听证会:研究者称尚无控制任何 AI 系统的方法 — RebeccaBellan · 2026-10-06
- AI 安全吹哨人 Jacobs Coxon 等出席纽约市议会作证 — shiringhaffary · 2026-10-06
- 【源头】前 Anthropic 研究员纽约议会作证:OpenAI 设 2027-28 自动化 AI 研究员里程碑,数月内或达成 — rohanpaul_ai · 2026-10-06
- 纽约市议会听证会上吹哨人研究员谈 AI 研究正被快速自动化 — steph_palazzolo · 2026-10-06
- 前 OpenAI 工程师向纽约市议会作证:AI 失控或致人类灭绝 — heyshrutimishra · 2026-10-07
另有 1 条近重复转述:GaryMarcus