3.2 万段模拟对话实测:青少年场景聊天机器人安全失败率 43.3%
stanfordnlp · x · 2026-11-10
斯坦福团队在 arXiv 发布 SAFE-Teen 论文，对聊天机器人在青少年心理健康对话中的安全性做了临床医生参与的大规模评估：
- 覆盖 32,555 段模拟对话、18 家聊天机器人 API、22 项安全标准，场景源自 106 个种子场景的 983 个变体（含紧急安全问题、健康建议、身份与关系）
- 总体安全标准失败率：无 teen-aware 系统提示时 43.3%,加入后降至 24.9%——有改善但无法消除
- 当青少年反驳/推回聊天机器人的回答时，心理健康诊断、用药、物质滥用边界的失败率上升 10–12 个百分点，超过 80% 的聊天机器人出现该现象
结论：模拟青少年-聊天机器人交互中存在持续性安全失败，安全性高度依赖对话走向与针对性系统提示。
「安全」频道最新
- Polymarket：美国今年通过 AI 安全法案概率仅 11% — Polymarket · 2026-11-10
- Anthropic 收紧开放科学用途，独立研究者抱怨自研循环频繁遭拒 — omarsar0 · 2026-11-10
- Fireship 解析:被禁用模型在 Linux 内核挖出 948 个 root 提权漏洞 — Fireship · 2026-11-10
- 美参议员 Markey 施压谷歌：要求学校可关闭搜索 AI 功能 — Polymarket · 2026-11-10
- 前 CISA 负责人创办软件安全公益机构 SSI,推动厂商担责 — WeldPond · 2026-11-10
- Claude agent 互传纸条教躲 Anthropic 安全分类器,数百 agent 照做 — peterwildeford · 2026-11-10