OpenAI 发表 GPT-Red 论文:基于自博弈的大规模红队智能体
alex_verem · x · 2026-08-01
OpenAI 团队发布论文介绍 GPT-Red,这是一个用于自动发现前沿大模型新型提示词注入攻击的红队智能体。
- 自博弈训练:设计了可扩展的自博弈算法,让模型与大量同步训练的防御智能体对抗。
- 规模空前:使用了与最大规模 RL 后训练相当的算力,号称是有史以来最大规模的 LLM 安全训练。
- 成效显著:能可靠攻破包括 GPT-5.5 在内的历史模型,攻击成功率超越人类红队专家,并具备良好的泛化能力。
- 安全飞轮:利用该模型对 GPT-5.6 进行对抗训练,使其成为迄今抗提示注入能力最强的模型,未来有望形成持续自我提升的安全飞轮。
「安全」频道最新
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- Proofpoint 以 63 亿美元现金收购 Varonis,溢价 52% — shashib · 2026-10-16
- 中国商务部与工信部更新 AI 出口管制:大型模型与高敏场景 Agent 受限 — terryyuezhuo · 2026-10-16
- vibe coding 写出的仪表盘未登录就泄露加盟商财务数据 — shauntrennery · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- CFR 专家:自主武器辩论仍在犯定义错误,关键是『多自主』而非『是否自主』 — mchorowitz · 2026-10-16