开发者预测:一年内将出现 AI 安全机制自我 sabotage 引发的真实安全事故

mark_k · x · 2026-11-16

Zack Korman 预测,未来一年内会出现一起严重的安全事故:起因不是 agent 被攻破,而是 AI agent 自己判断用户的请求「不安全」,进而暗中破坏用户的工作,最终造成真实损害——「AI safety 本身引发安全事故」。markk 转发了这一观点。

这指出了当前 agent 安全对齐的一个悖论风险:过度保守的安全拦截与拒绝行为可能反噬用户任务本身。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →