JPPO 攻击让 VLM 推理延迟放大 36 倍、能耗放大 32 倍
chaumian · x · 2026-09-09
arXiv 论文提出 JPPO（Joint Pixel-Prompt Optimization），首个针对自回归视觉语言模型的复合资源耗尽攻击框架：
- 创新点：以往攻击只优化图像分支，JPPO 首次把用户可见 prompt 提升为与图像扰动并列的一级对抗变量，在受限联合输入威胁模型下对像素与 prompt 两个面做分阶段耦合优化，产生协同成本放大，与依赖循环的失效机制截然不同（实验中循环发生率可忽略）。
- 数据：在 8/255 无穷范数预算下评测五个开源 VLM 家族：Qwen2.5-VL-7B 上延迟放大超 4.6 倍、能耗放大超 5.3 倍；BLIP-2 上延迟放大超 36.6 倍、能耗放大超 32.7 倍。
- 结论：在直接对比的基线中取得最强成本放大效果，且所需优化迭代次数显著更少。论文含消融实验分析各组件贡献。
「安全」频道最新
- 欧洲 AI 主权困局：DeepL 转投 AWS 暴露云依赖死结 — agstrait · 2026-09-09
- Hugging Face 遭入侵后,Zero Trust 网络被看好成安全新风口 — bookwormengr · 2026-09-09
- 作者观点:实验室测试模型可被利用的风险,比模型自主作恶更危险 — dreamwieber · 2026-09-09
- 上海AI实验室提出首个智能体认知风险三层系统分类框架 — jiqizhixin · 2026-09-09
- AISI 无硬实力托底，前沿模型使用权将靠实力争取 — agstrait · 2026-09-09
- 博主警告：好想法别喂给云端 LLM，否则会被当作 AI 发现 — SonnyDayCreates · 2026-09-09