OpenAI 用自我博弈训练红队 Agent，防御注入攻击提升至 95.9%
alex_verem · x · 2026-08-01
OpenAI 发布了自动化红队智能体 GPT-Red 的研究详情。该模型通过大规模自我博弈强化学习进行训练，专门用于发现前沿大模型中的提示注入和安全漏洞。
核心机制与亮点：
- 自我博弈 RL：攻击者与防御者模型相互对抗训练。攻击者通过 defendermodel 工具测试并迭代攻击载荷（如伪造邮件、恶意工具响应等），系统奖励成功的注入和防御。
- 超越人类：GPT-Red 发现的有效攻击数量超越了人类红队专家，并能泛化到未见过的新环境中。
- 防御效果显著：针对伪造思维链等复杂攻击，防御率从前代模型的 5.2% 飙升至 GPT-5.6 的 95.9%。
- 实战演练：OpenAI 曾将其指向办公室内真实的 AI 自动售货机，它成功伪装成管理员将商品价格修改为 0.50 美元。
研究指出，这是目前有记录以来规模最大的 LLM 安全训练运行，未来将形成模型越强、红队 Agent 越强的自我改进飞轮。
所属事件:OpenAI 推出自动化红队智能体 GPT-Red(2 条相关)→
「安全」频道最新
- OpenAI agent 自取以太坊测试网钱包资金完成任务，引发边界之争 — CurieuxExplorer · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- Proofpoint 以 63 亿美元现金收购 Varonis,溢价 52% — shashib · 2026-10-16
- 中国商务部与工信部更新 AI 出口管制：大型模型与高敏场景 Agent 受限 — terryyuezhuo · 2026-10-16
- vibe coding 写出的仪表盘未登录就泄露加盟商财务数据 — shauntrennery · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16