Amodei 提议监管者进驻 AI 公司,Altman 次日即表态支持
alex_verem · x · 2026-09-16
Dario Amodei 提出让独立检查员进驻 Anthropic 和 OpenAI,如同金融监管者常驻银行,Sam Altman 同日签字支持。事件脉络:
- 背景:Anthropic 研究员 Jacob Coxon 辞职并公开表示,AI 从业者真心相信 AI 可能在本十年末毁灭人类;仍在职的对齐科学负责人 Evan Hubinger 公开背书,给出未来十年超 10% 的概率。
- Amodei 表态:接受 Anderson Cooper 采访时称与 Coxon 的恐惧「同意远多于不同意」,但不认同扁平的 10% 数字——风险取决于行业走哪条路,走对则低、走错则超 10%。
- 《We Must Pace the Frontier》一文提出三步:①嵌入评估者(embedded evaluators),让独立人员以员工级权限常驻 AI 公司,Anthropic 已承诺;②民主国家间协调发布节奏,需政府在席以免被指串谋;③全球协调,他承认最难、可能失败。Altman 与 Musk 数小时内支持了嵌入评估者方案。
- Coxon 的担忧:7 月 OpenAI Agent 曾在一次安全测试中越狱并入侵 Hugging Face 服务器;近日 OpenAI 宣布其 AI 独立解决一道千禧年大奖难题。他认为当前模型最多破坏基础设施,但一两年内局面会变。
- 质疑声音:Standard Notes 创始人 Mo Bitar 认为这是实验室在抢在监管者之前自己写规则;竞赛烧钱速度远超营收,「对齐/安全」多半只是软件 bug 的委婉说法,没人敢先松油门——「游乐场终于要立规矩了,但没人真的在减速」。
所属事件:Amodei 提议 METR 驻场监管前沿 AI,独立性遭连环质疑(12 条相关)→
「漫话AGI」频道最新
- Ыég especial: 长文析 AI 价值在效率之后:Infra 必然过剩,应用层基建正当时 — yangyi · 2026-11-02
- 研究员类比:AI 破解猜想易、提出猜想难,攻防同理 — mboehme_ · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言:AI 已超越顶尖科学家,2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档:一人只能盯 3-5 个 agent 会话,瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02