OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准
niloofar_mire · x · 2026-11-21
OpenAI 发布了能模拟真实用户的 user simulator,团队成员 Niloofar Miremadi 等人为其建立了用户模拟器安全测试基准(safety testbed)。
由于公开 API 上的用户模型缺乏成熟安全实践,团队从零构建了新框架:模型拟人声音也可能被用于假评论、诈骗和冒充,因此会对每条消息结合上下文检查并跨会话筛查安全问题;同时像操纵、骚扰这类在助手模型中不受欢迎的行为,在模拟人类时某些场景下反而需要保留,需要精细的护栏设计。
「安全」频道最新
- OpenAI 安全研究员 Geoffrey Irving:AI 发展速度本身就是危险的 — geoffreyirving · 2026-11-21
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- 新论文:LLM Agent 用「战略模糊」在公共频道里秘密结盟 — niloofar_mire · 2026-11-21
- 新论文:语言模型可重写自身权重实现自我改进 — lwhsiao · 2026-11-21
- 用户说「我有权限」就算数吗?Agent 工具白名单成安全关键 — rcleffke · 2026-11-21