从业者梳理 AI 安全讨论乱局:监控自由度与生产力是硬权衡

sjgadler · x · 2026-09-04

Simon Gadler 试图综合近期让他感觉像「巴别塔」般各说各话的 AI 安全讨论，提出框架：安全的职责是把 agent 放进 padded room、监控其一切行为、确保它既不越狱也不滥用被授予的自由——这在当前工具下大体可行，但仍有许多待解决问题。

他同时指出痛苦的权衡：公司想让 AI「劳工」高效产出，就必须给它大量权限和操作空间，这制造了大量安全失守的机会；严格执行管控则带来巨大拖累。他补充自己对 CoT 监控并不悲观，认为它信号量不算低，只是不完美且作用会随时间衰减。