安全研究者倡议：无法红队测试的安全系统不应部署

AI 安全研究者 dfrsrchtwts 发推文串提出行业准则：不要建造你无法红队测试的安全关键系统。其核心论证是，业界默认趋势是让安全系统覆盖一切、不断扩展监控范围，但由于目前尚无关于 AI 动机、能力与控制的成熟科学，红队测试是验证安全措施是否可靠的唯一手段；若一个安全系统无法被红队测试，就无法确认其有效性，因此不应部署。该观点引发行业讨论。

2026-11-11 ~ 2026-11-11 · 2 条相关