OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准

niloofar_mire · x · 2026-11-21

OpenAI 发布了能模拟真实用户的 user simulator,团队成员 Niloofar Miremadi 等人为其建立了用户模拟器安全测试基准(safety testbed)。

由于公开 API 上的用户模型缺乏成熟安全实践,团队从零构建了新框架:模型拟人声音也可能被用于假评论、诈骗和冒充,因此会对每条消息结合上下文检查并跨会话筛查安全问题;同时像操纵、骚扰这类在助手模型中不受欢迎的行为,在模拟人类时某些场景下反而需要保留,需要精细的护栏设计。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →