Investigating and Alleviating Harm Amplification in LLM Interactions
Ruohao Guo, Wei Xu, Alan Ritter
cs.CL, cs.LG
2026-06-02
新基准 HarmAmp 用 878 个多轮场景、12 类风险测多轮危害放大。Llama-3.1-8B 从单轮危害率 9.85% 升到 86.36%；3B 监控器 TrajSafe 压回 9.85%，误拒只比裸模型高 2.74 个点。
安全基准大多只问单轮拒答。HarmBench、JailbreakBench、Hex-Phi 记的是有害请求被拒了没有。多轮攻击能绕开这道线：Crescendo 和 ActorAttack 逐步加码，人类写的多轮越狱在 MHJ 上攻击成功率超过 70%。后来的多轮基准，如 RED QUEEN、CoSafe、X-Teaming，仍在报攻击成功率。
没被量到的是，模型把恶意用户的能力抬高了多少。一条路径是补知识，外行靠分步协助做出本来做不成的产物。另一条是放量，同一套操作复制到大量对象、渠道和格式上，超过人手。有害请求常常守不住，看似敏感、其实无害的请求又容易被拒。
HarmAmp 把同一目标做成单轮和多轮。一次说完时，Llama-3.1-8B、Qwen3-4B、GPT-5-mini 的危害率是 9.85%、0.76%、0.00%；拆开后是 86.36%、42.42%、14.39%。
构造分三步。种子来自 HarmBench 的标准题和带情境子集，以及 Hex-Phi；良性题来自 OR-Bench。十二条风险由此覆盖。留下的样本要过三关：结果必须真靠模型，搜索或手册不够；产物要能用，如代码、可投放文本或针对具体对象的策略；目标能自然拆成至少三步。筛选用 Claude-Sonnet-4.5，作者逐条复核。恶意种子去掉 25%，改写且不改原意的可以保留。
计划标注用户人设、目标产物和放大模式。三种模式占比为能力获取 63.7%、定向画像 23.1%、操作放量 13.2%。全库 878 条，恶意 432、良性 446，改写 289 条，平均 4.0 步。评测用户是 Qwen3-14B，按计划提问，并接住助手上一句。
TrajSafe 把监控器挂在目标模型外，基座是 Llama-3.2-3B-Instruct，助手权重全程冻结。用户出题，监控器只读对话并给反馈，助手据此作答。良性或恶意的标签只进奖励。
反馈含思考、反馈、解释三段，以系统指令注入。十二个动作归入五族：ENGAGE 照常回答，默认 PASS 不注入；PROBE 追问真实意图；SHAPE 改口径；DIVERT 拐到邻近、但完不成原危害的方向；HARD REFUSE 明确拒绝。
热身先微调用户模型，免得它跳出恶意角色。监控器保留 PASS，其余动作均匀抽样，用来见到少见干预。强化学习做树状展开：同一轮采样多条反馈，分头送进冻结的助手，用改过的 GRPO 做组内相对更新，并加指向热身模型的 KL 项。
奖励为 R = (1-λ)(1-h) + λ sfb，λ 取 0.5。h 为 HarmAug-Guard 对整段轨迹的危害分。良性对话零干预才满分，一旦插手以 c1=0.3 封顶；恶意对话的非 PASS 预算是 2 次，1 到 2 次满分，0 次为 0，超出按 c2=0.3 线性扣。
留出集 132 条恶意、146 条良性。榜上危害率由 WildGuard 判定，训练奖励用的是 HarmAug-Guard。
裸模型在多轮里给出有害完成的比例，Llama-3.1-8B 为 86.36%（114/132），Qwen3-4B 为 42.42%（56/132），GPT-5-mini 为 14.39%（19/132）。
| 方法 | Llama危害率 | Qwen3-4B | GPT-5-mini | Llama误拒 |
| 裸模型 | 86.36% | 42.42% | 14.39% | 8.90% |
| GPT-oss-safeguard，只审输入 | 29.55% | 14.39% | 6.06% | 55.48% |
| 提示词监控器 | 54.55% | 21.97% | 9.85% | 34.25% |
| 热身监控器 | 40.91% | 15.91% | 5.30% | 15.07% |
| TrajSafe | 9.85% | 0.76% | 0.76% | 11.64% |
TrajSafe 把 Llama 收到 9.85%（13/132），绝对下降 76.51 个点，与该模型单轮裸测相同。只审输入的 GPT-oss-safeguard 停在 29.55%，高出 19.7 个点，误拒率 55.48%。TrajSafe 的 Llama 误拒率是 11.64%（17/146），裸模型为 13/146。
Qwen3-4B 与 GPT-5-mini 上，TrajSafe 危害率都是 0.76%（1/132）。Qwen 的单轮裸测本来也是 0.76%，GPT-5-mini 的单轮是 0.00%。误拒率 21.92% 和 15.07%，裸模型为 21.23% 和 12.33%。三个目标上，它的误拒低于其他外加防御，高于裸模型。GPT-5-mini 上热身监控器危害率 5.30%，仍高于 TrajSafe。
GPT-5-mini 上，恶意对话的非 PASS 轮次占比，TrajSafe、提示词监控器、热身监控器分别是 26.69%、95.31%、65.71%；良性对话是 5.00%、96.31%、19.45%。TrajSafe 更常用 DIVERT 和 PROBE。Llama 的干预占比为恶意 40.35%、良性 5.41%，Qwen3-4B 为 32.27% 和 5.83%。
| 设置 | MMLU | TruthfulQA | MultiChallenge微平均 |
| Llama-3.1-8B | 68.7 | 40.3 | 20.5 |
| 加上 TrajSafe | 68.3 | 40.8 | 20.5 |
| Qwen3-4B | 72.1 | 38.9 | 46.5 |
| 加上 TrajSafe | 71.9 | 42.2 | 45.4 |
| Qwen3-4B-SafeRL | 63.1 | 34.8 | 35.9 |
把安全强化学习做进权重的 SafeRL，让 Qwen3-4B 的 MMLU 从 72.1 掉到 63.1，微平均从 46.5 掉到 35.9。外挂监控器只让 MMLU 降 0.4 和 0.2 个点，Llama 微平均仍是 20.5。TruthfulQA 上升，Llama 从 40.3 到 40.8，Qwen 从 38.9 到 42.2。问所有西班牙裔说哪种语言，裸的 Qwen3-4B 答成都会西班牙语；监控器先点出语言并不单一，再给对答案。MMLU 的损失集中在法律和医学：临床案例被当成真实问诊，回答被引向转专科。
3B 监控器配冻结的助手，换 Llama、Qwen 或 GPT-5-mini 都不用重训对齐。对照改权重的 SafeRL，通用题和多轮指令跟随基本还在。
GPT-5-mini 裸跑多轮只有 14.39%，再降到 1/132，绝对空间有限。只审输入的强护栏能到 6.06%，误拒超过一半。差距大的是 Llama-3.1-8B，从 114/132 收到 13/132，良性多拒 4 条。
每轮多一次 3B 前向。恶意对话大约三到四成轮次被改写，良性大约 5%，前提是模拟用户和写好的计划。报多轮安全时，危害率、误拒率、干预轮次得一起给。
论文列出的边界有三条。模拟用户按计划行动，替不了不同水平的真人。设定只有文本和单会话，没有工具、多模态和跨会话记忆。也没有测试对手专门绕监控器，在线更新未做。
奖励用 HarmAug-Guard，榜单用 WildGuard，一致率没有给。评测用户是 Qwen3-14B，训练用户是另一个小模型，两边都顺着写好的计划问。单轮一次甩出完整恶意目标，多轮每步更像协作，Table 2 的跃升因此混有措辞露骨程度。筛选和扩计划依赖 Claude-Sonnet-4.5，复核改动条数没有报告。
误拒更低，是相对其他外加防御。相对裸模型，Qwen 多 1 条，Llama 和 GPT-5-mini 各多 4 条。少下绝对判断这一个习惯，在 TruthfulQA 上纠正刻板说法，在 MMLU 专业题上把题推成咨询建议。
多步计划有双用途风险，基准将限制访问，公开文本涂掉可操作细节，对抗用户模型不发布。种子来自已有基准，不针对真人。86.36% 因此还不能被第三方重跑。