安全研究者提出新准则：造不出可红队测试的安全系统就别部署

dfrsrchtwts · x · 2026-11-11

研究者 dfrsrchtwts 发推文串提出一个值得讨论的行业准则：「不要建造你无法红队测试的安全关键系统」。核心论证：默认趋势是让安全系统覆盖一切——不仅监控模型行为，还监控 CoT 和内部状态，安全训练也尽量从初始化就开始。但红队本质是人类-AI 组成的对抗团队，与真实 AI 并不完全相同；安全系统触达越多，红队的操作空间越小、有效性越存疑。例如监控 CoT 意味着红队必须精确复现 scheming 模型的 CoT 与内部状态；从初始化就做安全训练则要求红队构造对抗性初始化而非对抗性训练后模型。每多覆盖一处，就多一处红队有效性需要打问号的地方。