Apple 实习成果:视觉定位任务暴露视觉语言模型安全漏洞

Cohere_Labs · x · 2026-10-30

Cohere Labs 开放科学社区将举办一场报告会,由 UC Riverside 四年级博士生 Erfan Shayegani 主讲,内容来自他在 Apple 实习期间的研究《Visual Grounding Safety in Vision-Language Models》。

核心问题:模型能否在文字上拒绝有害请求,却通过「指向/定位」方式暗中执行?研究探讨了视觉语言模型在图像中定位物体时的安全缺口,并展示针对性的训练如何在保持视觉能力的同时提升安全性。 Shayegani 此前曾在 Apple 和 Microsoft Research 实习,研究方向为多模态 AI 安全与可信 agent。