安全人才该不该留在前沿实验室:多轮激辩安全路线
9 月 9 日至 11 日,AI 安全圈围绕「是否应该加入或留在前沿实验室做安全工作」展开一场多轮讨论,由安全研究者 Jeff Ladish 的观点引发,多位从业者跟进表态,并延伸到内部工程师的道德责任与安全人才实际流向的讨论。各方并非非此即彼,共识倾向于按岗位性质与个人判断区分对待,而非对留在实验室的研究者做道德指责。
已确认
- Jeff Ladish 认为,从整体看人才过度集中在前沿实验室内部,希望更多人加入 CAISI、UK AISI、Redwood、Palisade 等外部安全机构。但他同时承认,有些非常重要的研究(如可解释性工作)只能在实验室内部进行。
- Ladish 进一步区分:如果认为灾难概率很高,预训练团队成员留在实验室的理由要弱得多;而研究 AI 失控失败案例的人全部离开实验室反而不明智,因为世界急需了解日益强大的智能体如何运作的信息。
- 一位实验室在职员工(据 @hugobowne 转述的讨论)回应外界质疑时表示,留在实验室是因为认为从内部降低风险更有效,同时尊重并支持 Jacob、Joe 等人选择从外部推动安全。
- Jasmine Sun 表示,她仍坚持「AI 无论如何都会被造出来,自己去做对齐与安全防护比让更糟糕的人来做要好」的立场,承认存在认知失调,但认为这比其他选项更好。
- Jacques Thibodeau 针对公众「既然相信 AI 会毁灭人类,为什么还去那里工作」的典型质疑发声,认为持续跟进前沿 AI 发展本身就是一份全职工作,员工有充分理由留在一线边了解边行动,外界应给研究员多一点宽容。
- 经济学者 paulnovosad 与 @HaroldGodsoe 就「前沿实验室内部人士该如何应对 AGI 风险」展开辩论。Harold 提出极端类比:如果所有实验室都像一辆冲向人群的巴士,车内的人该怎么办。paulnovosad 延续讨论补充:他理解出于恐惧「没法在这家公司继续干下去」的情绪,但认为在 Anthropic 内部捣乱只会让风险更糟;更好的路径是工程师留在顶尖实验室内部,推动更多、更高水平的安全工作。
- 在人才流向方面,讨论指出从前沿实验室因生存性风险辞职的人大多转入各类 AI 政策组织,鲜有人进入政府岗位设计限制风险的监管政策。有观点认为,如果美国有一个有资金、真正有影响力的 AISI(AI 安全研究所),就能招募到优秀人才。
- Shakeel Hashim 表示,目前除特朗普政府外很难判断哪些政府岗位有高杠杆,进入白宫说易行难;当前真正的瓶颈是设计和通过好的立法,政策/倡导组织反而更适合发挥影响。他举例称英国 AISI 是例外,确实吸纳了不少前实验室人才。
- 另有讨论(Shakeel Hashim 转述)指出,政府岗位并非适合所有人,但有发起者希望更多人明确表态去「既能最大杠杆解决问题、也可能最大杠杆加剧问题的地方」——暗指前沿实验室。
为什么重要
这场争论折射出 AI 安全社区内部长期存在的张力:随着前沿能力加速,安全研究者面临「从内部减灾」与「外部监督」两条路线的选择。讨论中各方并非非此即彼——Ladish 本人既呼吁分流也认可内部研究的价值,paulnovosad 则进一步论证「拆台」式对抗反而加剧风险。人才流向的讨论进一步揭示了外部监督路线的现实瓶颈:政府岗位杠杆有限、立法艰难,美国 AISI 缺乏资金支持,使得政策组织成为离职安全人才的主要去处。
2026-09-09 ~ 2026-09-11 · 12 条相关
一手来源
- 安全研究者 Jeff Ladish:实验室人才过度集中,呼吁分流到外部安全机构 — JeffLadish ·
- Jeff Ladish:预训练团队该走可以走,研究 AI 失控的人留在实验室更重要 — JeffLadish ·
- 「拆 Anthropic 的台只会加剧风险」:研究者谈实验室内部人责任 — paulnovosad ·
- 既信 AI 会灭世又留在实验室?业内人呼吁给研究员多一点宽容 — JacquesThibs · 2026-09-09
- 安全圈争论:去前沿实验室做对齐究竟是不是正当选择 — jasminewsun · 2026-09-10
- AI 实验室员工辩安全路线:内部减灾还是外部监督 — hugobowne · 2026-09-10
- 安全研究员 Jeff Ladish:建造超级智能的实验室里也需要留下研究者 — JeffLadish · 2026-09-10
- 【源头】安全研究者 Jeff Ladish:实验室人才过度集中,呼吁分流到外部安全机构 — JeffLadish · 2026-09-10
- 【源头】Jeff Ladish:预训练团队该走可以走,研究 AI 失控的人留在实验室更重要 — JeffLadish · 2026-09-10
- 安全研究者该去哪? Nate 挑起"最大杠杆点"之辩 — ShakeelHashim · 2026-09-10
- Shakeel Hashim:美国政府岗位难成 AI 安全杠杆点 — ShakeelHashim · 2026-09-10
- 前沿实验室离职者多转投政策组织,鲜有人进政府设计监管 — Afinetheorem · 2026-09-10
- 安全人才流向 AI 政策组织,美国 AISI 缺资金难留人 — nxthompson · 2026-09-10
- 实验室工程师该留下还是出走?研究者激辩 AGI 安全路线 — paulnovosad · 2026-09-11
- 【源头】「拆 Anthropic 的台只会加剧风险」:研究者谈实验室内部人责任 — paulnovosad · 2026-09-11