OpenAI 的自博弈红队飞轮
imjustnewatai · x · 2026-07-16
这条内容在讲 OpenAI 似乎展示了一种类似 AlphaZero 的语言模型自博弈循环：
- GPT-Red 通过 self-play 训练：一方负责攻击，另一组模型负责防守。
- 在针对 GPT-5.1 的新 prompt injection 场景里，GPT-Red 找到了 84% 的成功攻击；而人类红队员只有 13%。
- OpenAI 随后把 GPT-Red 找到的攻击样本用于训练 GPT-5.6 Sol，作者称其在 GPT-Red 的直接 prompt injection 上失败率降到 0.05%。
作者进一步推测，这种“攻击—修补—再攻击”的飞轮，未来可能从后训练延伸到预训练：模型参与生成和验证训练数据、设计更难的课程、优化训练过程，甚至帮助构建下一代模型。
不过他也提醒：
- 目前还不是“模型自己训练自己”，人类仍然负责设定目标、环境和评分标准。
- OpenAI 也认为 GPT-5.6 还没达到它定义的“High”自我改进阈值。
- 失控的合成数据循环可能降低多样性，反而损害模型。
所属事件:OpenAI披露自动红队系统GPT-Red(16 条相关)→
「模型」频道最新
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18