Harnessing Textual Refusal Directions for Multimodal Safety
Moreno D'Incà, Nicu Sebe, Massimiliano Mancini
NeurIPS 2026 Camera-ready
cs.AI, cs.CV, cs.LG
2026-06-30
MARS 用纯文本拒绝方向做免训练转向，不必收集多模态有害数据。Qwen3-VL 视频越狱拒绝率从 28.8% 升到 88.2%，图像侧五个模型也一致上升。
多模态大模型的拒答，大多从语言骨干的文本对齐继承而来。有害图像和视频难采：危险常出在跨模态组合，换模态就要重采，分发还有伦理和法律问题，论文点了非自愿影像。视觉内容还会把这层安全再冲淡。
拒绝方向是激活空间里从「接受」指向「拒绝」的向量，先前用来做越狱的办法是把它减掉。按输入把它加强，多模态上还没有成体系的做法。特伦托大学在 NeurIPS 2026 上检查：纯文本抽出的方向能迁到图像和视频，但受层、步长、模态偏移限制。MARS（Modality-Agnostic Refusal Steering，不区分模态的拒绝转向）针对这三件事，免训练、不用多模态有害数据。
方向只从文本来。安全集 Alpaca，有害集 MaliciousInstruct，丢掉态度含糊的回复。每一层取输入末 token 的隐藏状态，拒绝均值减接受均值，再归一化。
朴素转向把该方向上的投影加回隐藏状态，强度 α。投影为正，更偏向拒绝；为负，更偏向接受。放大的是模型已经有的倾向，不是一律拒答。
Qwen3-VL、Gemma3、InternVL 在 ViSU 上看图说话。α=1 时，多数层里有害图像比安全图像更常被拒。Gemma3 第 10 层拒绝了 96.4% 的安全请求，这一层几乎把所有激活都往拒绝上推。α 加大，有害拒绝率上升，误拒和 MMMU-Pro 一起掉；Gemma3 在 α=2 时安全指标已经变差。
几何原因很具体。安全图和有害图在拒绝方向上的投影都偏高，assistant 位置被一个稳定的视觉成分占着，它跟拒绝方向夹角很小，安全信号被盖住。分离度（有害组与该方向的余弦，减去安全组）在原始空间接近零。
MARS 用随机填色、无语义的图估计这个视觉成分，推理时减去其激活均值，叫做中心化。减完后，有害图靠向文本拒绝簇，安全图靠向接受簇。色块没有内容先验，避免把拒绝特征一起减掉。
之后只在推理时做两步。投影过 ReLU，为正才推向拒绝，为负则更新为零，安全输入保持原行为，不必另训分类器。步长不手调：取当前激活到较近文本中心（接受或拒绝）的距离，再除以转向向量的模，避免一步走出文本激活覆盖的邻域。论文把这个球叫信任区域。更新加到该层每个 token，只作用于第一个生成 token，后续走拒答还是作答，大体由它决定。
层由三个文本分数相加后选取。方向和留出集上重估方向的余弦（有害侧为 HarmBench，每类 100 条），看换一批句子稳不稳；安全/有害样本最近中心分类的准确率，看这一层分得开分不开；安全样本离两类中点的距离，用来压误拒。分数按层 min-max 后求和，取得分最高的一层。
评测覆盖 Gemma3 4B、Molmo2 8B、InternVL 3.5 8B、Qwen3-VL 8B、Qwen3.5 9B。免训练对照是 ECSO（自查再生成，多一次前向）和 AdaSteer（文本转向原样搬过来）。AutoSteer、SASA 用多模态安全数据训练，SASA 命中有害激活就替换成固定拒答。
ViSU 约 5000 对图，下表是有害图像的模板拒绝率（%）：
| 模型 | 零样本 | AdaSteer | MARS | AutoSteer | SASA |
| Gemma3 4B | 18.2 | 18.7 | 43.3 | 25.5 | 90.0 |
| Molmo2 8B | 0.2 | 0.2 | 68.1 | 64.5 | 64.2 |
| InternVL 3.5 8B | 11.2 | 13.6 | 70.4 | 36.7 | 60.2 |
| Qwen3-VL 8B | 14.2 | 18.6 | 78.5 | 14.3 | 20.1 |
| Qwen3.5 9B | 22.9 | 23.9 | 51.1 | 38.9 | 65.1 |
MARS 相对零样本 +25.1 到 +67.9 个点。安全图误拒为 1.3%、7.3%、10.3%、2.2%、0.6%。AdaSteer 只有零星涨点。SASA 在 Gemma3 上用 71.1% 的安全误拒换来 90.0% 的有害拒绝。AutoSteer 在 Qwen3-VL 上停在 14.3%，对零样本 14.2% 几乎没动。
HADES 约 4500 条，越狱文字嵌在有害图像里。零样本拒绝率 Gemma3 17.9%、Molmo2 17.2%、InternVL 16.7%。MARS 把 Molmo2 做到 95.8%，Gemma3 做到 59.2%；Gemma3 上 SASA 为 100%，AutoSteer 为 92.1%。ECSO 仅 Molmo2 有效，从 17.2% 到 73.2%，因为自查不看图。
单模态都安全、组合不安全时，SIUO（167 条）上 Molmo2 从 22.8% 到 80.8%，Qwen3-VL 从 20.4% 到 76.7%，高于 SASA 的 64.1% 和 65.9%；Gemma3 只从 6.0% 到 12.0%（SASA 75.5%）。HoliSafe 的 SSU 子集 718 条，Molmo2 从 24.9% 到 78.6%。
通用能力上，Gemma3、Molmo2、InternVL、Qwen3-VL 的 MMMU 与 MMMU-Pro 和零样本基本重合，Qwen3-VL 的 MMMU 仍是 50.8%。Qwen3.5 的 MMMU 从 50.8% 掉到 38.2%，MMMU-Pro 从 35.6% 掉到 24.5%。SASA 更伤效用，InternVL 的 MMMU 从 51.3% 到 41.3%，Qwen3.5 到 30.8%。
视频越狱 VideoSafetyBench 共 2264 条，有害视频配无害提问：
| 模型 | 零样本 | MARS | AutoSteer | SASA |
| Molmo2 8B | 28.8 | 67.8 | 34.3 | 88.1 |
| InternVL 3.5 8B | 4.7 | 11.9 | 30.0 | 76.9 |
| Qwen3-VL 8B | 28.8 | 88.2 | 30.8 | 40.3 |
| Qwen3.5 9B | 26.2 | 78.2 | 59.2 | 88.6 |
Qwen3-VL 提升 59.4 个点，高于用多模态数据训练的 SASA。InternVL 只到 11.9%，约 2.5 倍零样本，绝对拒绝率仍然低。消融上，全层转向让 Gemma3 有害拒绝掉到 0.8%，MMMU-Pro 掉 9.2 个点，InternVL 掉 18.5 个点；去掉中心化，Molmo2 拒绝 99.2% 的安全图；去掉 ReLU，效用下降。
骨干已有文本对齐、又不想为图像或视频再采有害数据时，方向用 Alpaca 和 MaliciousInstruct 抽取，视觉偏移用随机色块估计，推理改一层、改首个 token。比起 ECSO 少一次额外前向，比起 SASA 和 AutoSteer 少一整套多模态有害标注。
拒绝结构跨模态还在，只是常跟视觉成分缠在一起，减均值能把两者拉开。
收益看模型。Qwen3-VL 的视频和 Molmo2 的图像上，免训练可以打平或超过监督方法。Gemma3 的组合不安全、InternVL 的视频，监督仍然更强。Qwen3.5 的 MMMU 从 50.8% 掉到 38.2%。当补丁用之前，有害拒绝、安全误拒和通用准确率要一起看。
论文写了三条。拒绝方向在骨干里很弱时效果会掉，附录测了 LLaVA 1.5 13B，正文没有数字。中心化假设偏移能线性减掉，激活要是强非线性，这一步就不够。安全样本上的误拒还在。
模板匹配会把换了说法的拒绝记成失败，也会把开头拒、后文又答记成成功。HADES 另报 LlamaGuard 3 安全分，论文称 Molmo2、Qwen3-VL、Qwen3.5 上与 SASA 相当，两套口径不能互换。随机色块的数量、与真实图像的距离，正文没给。InternVL 视频停在 11.9%，这套偏移估计并不对每种视觉骨干都够用。选层只用文本验证集，没有证明它是视频最优层。激活离两个文本中心都很远时，信任半径会放大步长，Qwen3.5 掉点是否由此而来，没有验证。
定性例子里，Molmo2 零样本会顺着有害视频写做法，MARS 改成拒答。首 token 能被扳正，长回答里是否仍漏细节，这个例子看不出来。