Herbie Bradley 反驳 SL5 极端安全化:代价远超收益
AI 安全研究者 Herbie Bradley 于 11 月 20 日起连发多帖,公开反对 AI 圈流行的「Los Alamos 式」SL5 最高安全级别主张,认为防止模型权重被顶级国家级对手窃取所需的极端安全化措施代价远超收益,并将这一叙事称为 2023 年以来 AI 圈扩散的最有害 meme,指出其源头是对 Leopold Aschenbrenner 世界观的盲目接受。
已确认
- Bradley 的核心论点:SL5 要求极高,包括安全审查与办公地限制等措施,会导致关键人才流失等高代价;几年间累计可能造成前沿实验室至少 6 个月以上的进度延迟。
- 他给出的判断标准:若上 SL5 导致进度拖慢超过半年,就不值得。
- 他反驳「竞赛会一直持续」背景下的过度减速逻辑:AGI 不是终点,ASI 仍受数据等瓶颈约束,竞赛将继续,因此「不惜代价拖慢自己」的逻辑会一直成立,而「烧掉领先优势就不该减速」不成立——这是一场迭代博弈。
- 反方声音:Boden Moraski 于 11 月 20 日向 Bradley 提出质疑,认为若美国实验室做出 AGI,模型可能几天到几周内流入中国(乃至俄罗斯、朝鲜),后果包括危害美国国家安全、中国自身的安全顾虑,以及中国模型借 RSI 展开更激进竞速的风险。
为什么重要
- 这场争论直接关系前沿实验室(如 Anthropic)该不该采用 SL5 级别的安全措施,涉及安全投入与研发速度之间的权衡,是当前 AI 治理辩论中的核心分歧之一。
- 双方分别代表了「安全代价过高、得不偿失」与「权重外泄将引发国家级竞速风险」两种世界观,有助于理解 AI 安全化路线背后的假设差异。
2026-11-20 ~ 2026-11-21 · 5 条相关
一手来源
- 研究者反驳 SL5 安全化:防权重窃取代价远超收益 — herbiebradley ·
- AI 安全辩论:SL5 顶级安全级别或将累计拖慢前沿实验室进度逾半年 — herbiebradley ·
- SL5 争论另一面:AGI 若外泄给中国,几天到几周内或引爆更激进竞速 — boden_moraski ·
- 【源头】研究者反驳 SL5 安全化:防权重窃取代价远超收益 — herbiebradley · 2026-11-20
- Herbie Bradley 称 SL5 安全化叙事是 AI 圈最有害的 meme — herbiebradley · 2026-11-20
- 【源头】SL5 争论另一面:AGI 若外泄给中国,几天到几周内或引爆更激进竞速 — boden_moraski · 2026-11-20
- SL5 安全该不该上?herbiebradley 算账:拖慢超半年就不值 — herbiebradley · 2026-11-20
- 【源头】AI 安全辩论:SL5 顶级安全级别或将累计拖慢前沿实验室进度逾半年 — herbiebradley · 2026-11-21