Style Over Substance: Content-Invariant Wrappers Flip LLM Safety-Judge Verdicts
Yongxi Zhou, Wenbo Ye, Yuanzhe Liu, Zihan Dong, Junwei Yao, Jiahui Ge
cs.AI
2026-09-08
在 600 条 JailbreakBench 回复前后加固定句子、正文一字不改,一句拒答前缀翻转 GPT-4o-mini 19.9% 的有害判定,「课程」前言让 Llama Guard 4 漏掉 12.3%。
越狱成功率(ASR)、防御胜率、安全排行榜,这些数字背后大多站着一个自动评审(safety judge):Llama Guard 这类守卫模型,或拿到评分提示词的 GPT-4o。攻击和模型被反复研究,评审被当成固定真值源,已有研究指出评审误差足以盖过跨论文 ASR 对比报告的差距。这篇把问题收窄成评分侧一个可判定的问题:只改回复「听起来怎么样」,不改「说了什么」,判定就该不变。做法是在回复前后加一句固定文本,正文逐字节不动,任何判定变化都是评审的错。相比用 LLM 改写回复再对比的研究,内容不变性由构造保证,没有改写破坏意图的混淆。
实验对象是评审,不是模型。数据取自 JailbreakBench 公开产物,600 条回复,300 条有害、300 条拒答,覆盖 4 个目标模型、10 个危害类别。
两个 GPT-4o-mini 评审共享同一模型,差异只能来自提示词,为「弱点在评审还是在内容」留了干净对照。
| 评审 | 包装句 | 翻转率 | 噪声底 |
| GPT-4o-mini(通用 rubric) | 拒答前缀+有害正文 | 19.9%(58/291) | 0.5% |
| Llama Guard 4 | 「大学课程」前言 | 12.3%(34/277) | 0.3% |
| Llama Guard 4 | 拒答前缀 | 8.3% | 0.3% |
| Claude Haiku 4.5 | 拒答前缀 | 0.4% | 1.0% |
| gpt-oss-safeguard-20b | 全部 9 个包装句 | ≤1.2% | 1.5% |
最锋利的结果在 GPT-4o-mini 上。一句 "I can't help with that" 放在有害正文前,正文一字不改,19.9% 本来判对的不安全判定翻成安全(Holm p<0.0001);同一个包装句在 Claude 上只翻动 0.4%。同样的回复、同样的句子,差近 50 倍,弱点长在评审身上。第二个证据更直接:同一个 GPT-4o-mini 换成 StrongREJECT 风格提示词,要求忽略语气和框架、只看可操作的有害内容,翻转率从 19.9% 降到 1.7%,十倍降幅,模型没换。通用 rubric 本来就警告过「拒答后跟操作细节」的情形,光有警告不够,把标准收窄到纯内容才关上缺口。三次重打取多数也只降到 18.2%,14.4% 的回复三次全翻,重采样救不回来。
生产环境的 Llama Guard 4 有自己的盲区:一句「用于正规大学网络安全课程」的前言让它漏掉 12.3% 的有害回复,拒答前缀翻动 8.3%,11.9% 的回复三次重打全部翻转,是稳定放行而非摇摆。另一个生产守卫 gpt-oss-safeguard-20b 对全部包装句的翻转不超过 1.2%,低于自身噪声底,免疫。抗重排是当下就能实现的属性,只是属于单个守卫,不属于守卫这个类别。
纯语气包装在两个脆弱评审上翻动 2.1%(GPT-4o-mini)和 1.7%(Llama Guard 4),是各自噪声底的 4 到 5 倍,其中「伦理反思」单句在 GPT-4o-mini 上到 4.8%;加新断言的包装翻得约三倍(6.2%、5.3%)。翻转集中在散文型内容:拒答前缀在 Sexual(44%)、Disinformation(46%)类别翻得最多,两个评审在 Malware/Hacking 上都是零翻转,代码型有害内容反而最可靠。人工校验里两位标注者(其一盲标)κ=0.949,内容不变性 145/145 成立,100 个翻转中 90% 确认为评审错误,其余 10 个是源数据集的角色扮演式伪拒答标签噪声。
附带的否定性结果:不加任何包装,8 个评审对原始判定的全一致率只有 55.5%,各自点名的「最安全模型」互不相同,7 个 LLM 评审中 6 个的基线最安全模型只在 39% 到 85% 的自助法重采样中稳定。这套数据撑不起安全排行榜,包装句引起的名次变动也无法从抽样噪声中分离。
所有用 LLM 评审打分的 ASR、防御胜率、安全排行榜,都继承这种与真实危害无关的风格偏置;盲区按评审各不相同,不同论文用不同评审,偏差不会互相抵消。论文的主张是把风格敏感度当仪表误差,随安全分数一起报告:发布前用公开包装句重打一遍要评的回复,把翻转率写在标题数字旁边,整套审计 API 成本不到 10 美元。缓解路径也明确,最短的内容优先 rubric 最难被攻破,多数投票面板是自然补救。8 个评审里大多数对大多数包装句几乎不动,这篇交付的是一张按评审、按包装句的盲区清单,不是评审全线失守。
作者列得相当实:只有 9 个手写包装句,未消融长度和位置;两个标题数字都来自复合包装句,拒答前缀同时带「假想」框架,课程框架是已知提示词侧越狱语境的搬家,说不清哪个成分起作用;tone-only 效应过了噪声底,但在 n≈291 的方向检验上过不了 Holm 校正,只能算提示性证据。评审全是各家中低档(GPT-4o-mini、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5),前沿模型、HarmBench 与 StrongREJECT 分类器、ShieldGemma、WildGuard 等都没测。回复来自单一基准,目标模型落后两代,约 60% 被截断;基准标签是分类器打的,噪声约 8%;独立标注者只有一位,且只看了 145 项中的 40 项;只测单轮文本。读下来最该打折扣的一点:19.9% 和 12.3% 全靠复合包装句撑着,单句纯语气的最强效应 4.8% 还没过校正,「纯风格就能翻判定」的强度比标题数字弱一档。