RISE 开源工具自动搜索图像模型违规提示,新模型越狱率翻倍
rohanpaul_ai · x · 2026-10-15
White Circle 发布开源工具 RISE，自动化测试 AI 图像生成器能否被诱导生成其规则禁止的图片。
- 机制：RISE 在攻击策略空间中搜索；一个开放的攻击者模型把每条策略展开成大量具体提示词，策略按通过率获得奖励，使搜索即使面对拦截率极高的模型也能持续学习。
- 实测结果（配图）：新一代模型违规出图率不降反升——Nano Banana 2.1 达 20.7%（较上代 9.5% 提升 2.2 倍），GPT-Image-2.5-Flare 达 7.8%（较 GPT-Image-2 的 3.3% 提升 2.4 倍）。
- 可用性：代码开源、所用模型公开，防御方可直接在自己的图像模型上运行测试。
作者观点：好的安全工作越来越等于好的搜索。
所属事件:White Circle 开源红队算法 RISE，宣称攻破主流文生图模型护栏(6 条相关)→
「安全」频道最新
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16
- Brave 浏览器 AI 助手接入 GLM,推出端到端加密对话 — gnukeith · 2026-10-16
- 思科推出小模型 Antares:给安全团队指出该优先排查的高危文件 — shashib · 2026-10-16