PIBBSS 演讲：自动化对齐研究不能靠「抓到 AI 使坏就叫停」

JacquesThibs · x · 2026-11-06

研究者 Jacques Thibodeau 发布其在 PIBBSS Symposium 2025 的演讲全文（约 63 分钟，含幻灯片与逐字稿），主题是自动化 AI 安全研究的策略缺陷：

核心论点：「如果我们抓到 AI 在搞研究破坏就叫停」不是可靠的对齐计划；对自动化安全研究的双用途担忧被夸大了。
内容覆盖：研究破坏（research sabotage）若发生会是什么形态、为什么依赖「抓现行」的监控策略不可靠。
相关产出：配套文章《Automating AI safety: what we can do today》与《Gaining clarity on automated alignment research》（区分了该词的四种含义）；演讲中提及的对齐初创公司为 Coordinal Research。
后续脉络：作者梳理了 2026 年以来的相关工作，包括 Jan Leike 的《Alignment is not solved》（副标题「但看起来越来越可解」，报告了三个 Claude 版本的自动化审计分数）等。

对关注 AI 安全研究自动化方向的人是有分量的观点材料。

「漫话AGI」频道最新