EMNLP 2026 论文 HarmAmp：LLM 多轮对话如何放大危害，及主动干预监控器 TrajSafe

alan_ritter · x · 2026-10-24

Alan Ritter 团队将携多篇论文参加 EMNLP 2026（布达佩斯），核心论文研究 LLM 作为「危害放大器」的风险：恶意用户可通过多轮延伸对话，让模型输出超出其单独能力范围的有害结果，路径包括让新手获得领域专长、以及把有害操作规模化到人工无法企及的量级。- 提出 HarmAmp 基准：覆盖 12 个风险类别的多轮危害放大场景，要求满足实质性放大、操作具体性、多轮必要性等严格标准；- 提出 TrajSafe 主动监控器：预判有害轨迹并干预，例如探测用户真实意图、将模型引导向更安全的补全；- 实验显示 TrajSafe 显著降低多轮交互危害，同时保持低误拒率和不损害模型通用能力。其他海报包括 RL 后训练数据污染检测 LaRA、「谁为安全付出更多代价」、以及亚洲语言文化偏见 Camellia。