AdvGame 论文:攻防 LM 对弈博弈训练,安全对齐 shift Pareto 前沿
brandondamos · x · 2026-11-20
Meta/研究团队发布 AdvGame 论文「Safety Alignment of LMs via Non-cooperative Games」,Brandon Amos 公开了演讲 slides。
核心内容:
- 新范式:把安全对齐建模为 Attacker LM 与 Defender LM 之间的非零和博弈,两者通过在线强化学习联合训练、持续互相适应,取代传统「生成对抗 prompt → 微调防御」的序列式对抗训练。
- 奖励设计:用基于成对比较的偏好奖励信号替代逐点打分,监督更稳健,可能减少 reward hacking。
- 效果:将安全-实用性的 Pareto 前沿整体外移——Defender LM 同时更有用且更抗对抗攻击。
- 副产品:训练出的 Attacker LM 收敛为一个强通用红队 agent,可直接部署去探测任意目标模型。
作者包括 Anselm Paulus、Remi Munos、Ivan Evtimov、Kamalika Chaudhuri 等。
「安全」频道最新
- 环保组织被曝密谋借「完善法案」之名扼杀 AI 安全法案 — aronchick · 2026-11-21
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- AI 监管之争的关键分歧:该防风险,还是防监管被滥用 — herbiebradley · 2026-11-21
- OpenAI 安全研究员 Geoffrey Irving:AI 发展速度本身就是危险的 — geoffreyirving · 2026-11-21
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21