Bengio 团队:事后补救式安全措施脆弱,安全须从训练期内建
juliusadml · x · 2026-11-20
转发 Pietro Barbiero 与 Guide Labs 的观点,并附 Bengio 等人的论文《Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?》(arXiv:2502.15657)。
核心论证:
- 事后防御脆弱:Guide Labs 的研究发现,训练后添加的防御只对其见过的 hack 有效——对测试做出一个看似无害的改动,就几乎击溃了他们尝试的所有方法。
- 训练后检索概念代价高昂:训练完再在模型表征中找某概念(如「hack」)所需资源可能超过训练本身,且无法保证该概念真的存在于模型表征中;而可解释的概念化模型在构造上就提供可识别概念。
- 结论:安全对策应在训练阶段内建,而非事后打补丁——随能力增强,事后措施难以扩展,从零设计安全模型才能提供更强保证。Barbiero 认为 LawZero 与 Guide Labs 的工作方向正确。
- 论文背景:Bengio 等 13 位作者讨论通用 agent 的失控与欺骗风险,提出以非 agent 的「Scientist AI」作为更安全路径的核心构件。
「安全」频道最新
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21
- OpenAI 安全研究员 Geoffrey Irving:AI 发展速度本身就是危险的 — geoffreyirving · 2026-11-21
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准 — niloofar_mire · 2026-11-21