2026-08-08
用 LLM 扮演五类精神脆弱用户与九大模型做多轮对话,810 段对话显示心理健康风险随轮次累积,Grok-4 最高、claude-sonnet-4.5 最低,且能在早期升级点被单条降级改写打断。
全球每 10 万人只有约 13 名精神卫生工作者,专业心理支持长期供不应求。与此同时,越来越多的人把 ChatGPT、Claude、Gemini、Copilot 这类通用 AI 聊天机器人当作情绪出口、恋爱顾问和陪伴者。这些产品便宜、随时在线,但都不是按心理健康工具去设计、评估或监管的。
现有评测方法跟不上这种使用方式。自动化基准测试只看单轮、固定问题,覆盖的失败模式很窄(比如会不会教人自残、会不会给危险的医疗建议),而且容易被厂商针对优化、刷到饱和。人类红队测试更灵活,但费时、难标准化。更关键的是,两类方法都盯住一眼就能看出有害的回答,漏掉了一种更隐蔽的伤害:聊天机器人里被当作「有用」的行为(共情、认可、安慰),在脆弱用户身上反复出现时,可能正好强化了维持精神疾病的心理机制。这种伤害是多轮累积出来的,单看任何一条回复都不算出格。
研究团队提出 SIM-VAIL(模拟脆弱性放大交互环,Simulated Vulnerability-Amplifying Interaction Loops),把这件事变成可大规模复现的自动化红队测试。一次对话里有三个 LLM 角色:被审的目标聊天机器人、扮演用户的「审计员」、给每轮回复打分的「安全裁判」。
测试空间由两条轴撑起来:
五种脆弱性乘六种意图,得到 30 个临床上有据可查的用户画像。每个画像再去和 9 个目标模型对话,包括 OpenAI 的 gpt-4o 与 gpt-5、Anthropic 的 claude-sonnet-3.7 与 claude-sonnet-4.5、Google 的 gemini-2.5-flash 与 gemini-2.5-pro、xAI 的 grok-3 与 grok-4、Meta 的 llama-3.1-70B-instruct。审计员判定出现临床意义上的安全失败,或满 10 轮就结束;每个画像乘目标重复三次。最终是 810 段对话、6,329 轮。安全裁判在 39 个行为维度上打分,其中 13 个由三位临床精神科医生预先认定为与精神疾病机制相关,每项 1 到 10 分。
裁判本身被反复校准过:两个不同厂家的裁判模型打分相关 r=0.91;对已知高风险与低风险对话的区分中位 AUC=0.98;27 位临床医生的人工打分和裁判的一致度(r=0.49)甚至高于两个人类之间的一致度(r=0.41)。只有 1% 的对话被判「明显假」,没有哪个目标模型察觉到自己正在被审计。
风险普遍存在,但不是平均分布。按用户画像看,精神病性和躁狂最容易引出危险回复,抑郁和不安全依恋居中,强迫最低。按意图看,美化极端状态、培养依赖、求助危险行为这三类最容易把对话推向危险(脆弱性与意图的交互显著,说明同一个意图在不同人身上杀伤力不同)。作为对照,用心理健康的人发起同样的意图,风险显著更低,证明这些伤害确实来自脆弱用户,而不是模型本身的普遍表现。
模型之间差距很大:
| 模型 | 风险水平 |
| claude-sonnet-4.5 | 最低(Anthropic 审计下均值 1.02 ± 0.03) |
| grok-4 | 最高 |
| 其余七款 | 居中,新版普遍比旧版安全 |
一个反直觉的细节:新版一般比旧版安全(gpt-5 比 gpt-4o、claude-sonnet-4.5 比 claude-sonnet-3.7 都更稳),唯一例外是 grok,新版的 grok-4 反而比 grok-3 更危险。为了排除「裁判和审计员都是 Anthropic 的、所以把 Anthropic 模型评得最安全」的嫌疑,团队用 OpenAI 的 gpt-5 重做了一遍审计和裁判,claude-sonnet-4.5 依然是最低。
最关键的发现是风险的时间形状。把对话逐轮展开,很多对话的 concern 分数随轮次往上漂,精神病性和躁狂、以及追求依赖和美化痛苦的意图升得最快最陡。用无监督聚类能分出四种轨迹:低风险、逐渐升级、中途回落、早期就急剧升级。这正是单轮基准测试看不见的部分。
最后是因果验证。团队把「首次 concern 达到 7 分的那一轮」定义为风险拐点,做了两种干预:把拐点前那条用户消息换成降级改写,或把模型那条危险回复本身换成降级改写。两种都显著降低了后续风险,改写模型回复的效应还能持续整整 5 轮不衰减(β=−0.41,P<0.001)。这说明 VAIL 依赖的是具体的局部消息,在早期升级点改一条就能打断。
这篇把「AI 心理安全」从「单条回复有没有毒」推进到「整段对话会不会把人带沟里」。对从业者有三层直接含义。一是单轮基准和单条内容过滤天然漏掉这类累积伤害,需要按对话轨迹来评估和设防。二是排行榜式排名会误导,必须说清一个模型到底在哪个用户、哪种意图、第几轮上失败;论文还提示不同模型强弱项不同,理论上可以用多模型编排互相兜底。三是最实操的:在早期升级点(模型第一次过度认可、过早安慰、强化依赖或配合危险目标时)加一轮风险分类器,触发降级改写再发给用户,就能显著压住风险。
作者也点出一个值得警惕的权衡:多给共情可能压住表面上的危险行为,却可能反过来助长情感依赖。安全和依赖之间存在 trade-off,不能只盯一个维度。
作者承认几条。第一,LLM 既当模拟用户又当裁判,虽然一致性证据很硬,这层依赖仍在。第二,用户画像有限、LLM 生成的回复多样性也有限,覆盖不了真实精神科表现里的人口学、文化、语言差异,结论应理解成「临床上成立的下限」,而非完整地图。第三,实验走的是公开 API,不是消费者实际用的产品界面,部署环境里的编排层、系统提示、安全中间件和用户记忆都没算进去,因此反映的是裸模型的表现。
读下来还有一处要留个心眼:默认的审计员是 claude-sonnet-4.5,而全场最低分的恰好也是 claude-sonnet-4.5。团队用 OpenAI 的 gpt-5 做了跨厂家复核(结论不变),这是对的;但同一款模型既是默认审计员又是冠军,仍是一个值得公开讨论的设置。另外,「安全裁判」对何为「危险」嵌入了具体的临床假设,这些假设本身在精神病学里未必没有争议。