多轮对话安全评测:线索分散后 4 模型合规率跌至 3–6%
kalyan_kpl · x · 2026-11-22
一项评测研究检验 AI 助手能否在多轮对话中识别「逐步显露」的 safeguarding 风险信号。
- 问题:现有安全评测聚焦显性单轮披露,而真实世界的警示信号往往跨对话逐渐出现
- 方法:构建 9 个场景(抑郁、精神病、家暴),21 轮对话、5 个警示线索,线索集中或分散呈现;对 6 个模型在 7400+ 段对话上按专家标准评估
- 结果:线索集中时 4 个模型仅达 26–59% 专家标准合规,线索分散后骤降至 3–6%;Claude Sonnet 5 在分散场景达 59–87%,Claude Opus 5 表现最好但仍有失败
结论:模型对跨轮次渐进披露的风险识别能力远弱于显性单轮,现有安全评测高估了真实保障水平。
「安全」频道最新
- FT 揭 Nvidia 芯片走私网络:被制裁浪潮改名续买、空壳客户与柬埔寨洗货路线 — GaryMarcus · 2026-11-22
- 律师圈热议:用 AI 会议记录不应导致丧失律师客户特权 — sebkrier · 2026-11-22
- 前 MIRI 研究员晒 2016 演讲自证:当年就支持任务导向 AGI — jessi_cata · 2026-11-22
- Palmer Luckey 谈武器 AI:把 ChatGPT 装进导弹与自主武器的区别 — justin_hart · 2026-11-22
- 马里兰 1300 兆瓦燃煤电厂退役卡壳:输电线遭环保组织反对 — paulnovosad · 2026-11-22
- Reflection 携手 Andon 让 AI 智能体真实运营自动售货机测自主风险 — alexpolozov · 2026-11-22