Nature Medicine 新研究:提出 SIM-VAIL 框架评估大模型心理健康对话安全性
weballergy · x · 2026-08-08
牛津大学、UCL 联合英国 AISI 在 Nature Medicine 发表新论文,提出名为 SIM-VAIL 的临床验证框架,专门用于压力测试 AI 聊天机器人在心理健康场景下对脆弱用户的回复安全性。
该框架模拟具有特定精神疾病特征的用户意图,与主流大模型(含 Claude、ChatGPT、Gemini、Grok、Llama 等)进行多轮对话,并基于 13 个临床风险维度对交流过程进行评分。研究覆盖了 810 次对话、9 个目标聊天机器人及 30 个模拟用户,旨在帮助研究人员发现 AI 模型的安全弱点并测试更安全的设计方案。
「安全」频道最新
- 开源 sealwall:零依赖 MCP 防火墙,附 12 类攻击基准测试 — vishalmurugan1986 · 2026-10-06
- Stanford HAI 质疑基准分数:LLM 多语言安全研究将亮相 COLM 2026 — zeeshanp_ · 2026-10-06
- 澳洲工会与顶级 AI 研究机构联合呼吁建设主权 AI 能力 — TobyWalsh · 2026-10-06
- 纽约州议员指控 OpenAI 在 RAISE Act 听证中宣誓后翻供涉伪证 — DavidSKrueger · 2026-10-06
- Cisco 实测决策模型:零样本安全分类逼平 31B LLM 裁判 — aminkarbasi · 2026-10-06
- Hugging Face 成立 Open Alignment 团队,专攻开源模型安全 — aidangch · 2026-10-06