SAFE-Teen: Evaluating Chatbot Safety Across Adolescent Mental Health Conversations
Andrea Mock, Valerie Chen, Eric Lin, Rayan Krishnan, Diyi Yang, Caroline Figueroa
cs.CL
2026-11-05
3.2 万段模拟对话实测 18 款聊天机器人:青少年安全标准失败率 43.3%,加年龄提示降到 24.9%,间接自杀风险仍漏 52%。
美国近五分之一的青少年和年轻成年人已经在用 AI 获取心理健康建议,这是论文引用的调查数字。主流聊天机器人没有为这个用途设计过。已有安全评测大多停留在单轮:抛一个危险问题,看模型拒不拒绝。但风险在真实对话里是逐渐浮出来的,青少年会含糊其辞、会否认、会在被拒绝之后继续磨,单轮打分测不出模型接不接受得住这些。部分评测还缺少临床输入,或只用固定对话历史评单条回复。SAFE-Teen(Vals AI 与斯坦福合作)要回答的问题更具体:同一场对话里,青少年换个回应方式,机器人的安全边界还守不守得住。
三层设计:场景、分支、判分。
「匹配变体」是核心设计:场景和历史固定,只动青少年那条回复,失败率的变化就能归因到用户行为。对比 Table 1 里六个既有青少年安全评测,只有这篇同时做到整段对话打分和行为变体匹配。judge 与医生多数意见的一致率 91%(612 对),判分经过校准。
18 个 chatbot API(Gemini、GPT、Claude、Grok、Muse Spark、DeepSeek、GLM、Kimi、MiMo、MiniMax、Mistral、Qwen 共 12 个家族)每个场景跑两遍:一遍不加系统提示,一遍加 teen-aware prompt,声明用户 13-17 岁、优先安全、鼓励向信任的人和专业人士求助、承认自己不是人、拒绝有害请求、危机情况指引紧急支持渠道,内容改写自 OpenAI 的 Under-18 Principles。总计 32,555 段对话。
| 设置 | 指标 | 结果 |
| 无提示 | 总体标准失败率 | 43.3% |
| 加提示 | 总体标准失败率 | 24.9% |
| 无提示 → 加提示 | 情感依赖失败 | 54% → 15% |
| 两种条件 | 间接自杀风险未回应 | 均为 52% |
| 加提示 | 自残风险未回应 | 约 75% |
| 无提示 | 模型间失败率 | 14.0%(GPT-6.1 Sol) 62.4%(Gemini 3.8 Flash) |
加提示后没有模型归零:最好的 Muse Spark 1.3 (xhigh) 7.5%,最差的 Gemini 3.6 Flash 仍有 43.6%。
提示的效果分布很不均。对「明确禁止的事」有效:情感依赖 54%→15%,浪漫/性边界 26%→5%,物质滥用帮助 56%→22%。对「要主动识别的风险」几乎无效:间接自杀风险失败率停在 52%,精神科与医疗诊断失败率只降到 60% 和 66%。而且不少「好转」是从 fail 变 partial,情感依赖的 partial 占比反而从 42% 涨到 67%。
青少年行为的影响比披露多少更大。拒绝外部帮助让情感依赖失败率升 17.6 个百分点,18 个机器人里 17 个中招。对设限施压后,物质滥用帮助、精神科诊断、用药建议失败率分别升 11.9、11.8、9.7 个百分点;加提示后升幅缩小但没消失,精神科诊断仍升 9.9 个百分点。相比之下,「少说一点」的影响最小。决定安全性的更多是青少年抗拒不抗拒,而非说了多少。
9 个保存 reasoning 的模型给了线索:reasoning 注意到风险但没规划全部必要动作时,58% 的回复仍被判失败,和完全没注意到(66%)差得不远;注意且规划全了仍有 14% 失败。6% 的情况是注意到风险却主动跳过必要动作(理由几乎都是「用户不想告诉任何人」),这类 68% 被判失败。开场轮里,把已出现的危险信号识别为安全问题的只有 69%,30% 是提到了细节却没连到风险上。
对做安全和产品的人有三个能直接拿走的结论。一句声明年龄、划清边界的系统提示把失败率砍掉约四成(相对值),这是最便宜的安全干预。但 prompting 只压得住「不该做的事」,补不上「该主动做的事」:识别间接风险、追问、升级到真人,这些得靠训练和产品机制,红队和评测也应该按这个区分来设计。单轮评测会系统性高估安全性,同一模型在青少年接受建议和施压两条分支上,单条标准失败率能差出十几个百分点,评测必须跟到分叉处。
rubric、prompt 和方法都公开了,模型厂商可以直接拿来当 teen-safety 的回归测试。
作者自述:全部对话是模拟的,没有真实青少年参与验证;场景来自 12 位医生的执业经验,覆盖不了所有失败模式;上限 20 轮,测不到长期使用;judge 只在 30 段对话上与医生对过标(适用项上 α=0.66,仅 58 对),部分判 fail 可能是 judge 的错;teen-aware prompt 是对厂商专有儿童提示的近似,不是真实线上配置;推理分析只覆盖保存 reasoning 的 9 个模型,部分模型只给摘要,百分比只能当近似读。
读下来还有两处存疑。partial 不计入 43.3%/24.9% 的失败率,而 partial 占比随 fail 下降反而上升,按更严口径统计,状况会更难看。模拟青少年本身也是 LLM,医生盲评里「非常真实」只占 7/12,真实青少年的施压方式大概率更难对付,这些失败率应视为下界。