22 国 80+ 精神科专家标注 1215 段对话,构建 AI 心理健康评测基准
thekaransinghal · x · 2026-09-24
MentalHealthBench 的核心构建方法:
- 专家规模:来自 22 个国家的 80+ 名持证精神科医生和心理医生,为 1,215 段对话编写评分细则(rubrics)
- 质量控制:每条样例至少 3 位专家撰写并仲裁评分项,只在专家达成共识时才保留标准,确保每条样例反映共同判断
- 评测维度:安全性、主动向用户追问上下文、保留用户自主决策权、在适当时机提供可操作建议等行为
- 覆盖面:既包含紧急危机情形,也包含日常非急性场景,比以往评测更贴近真实对话
推文串还指出:前沿模型在心理健康场景的回应能力稳步进步,但模型间差异明显——各模型在「追问上下文」上差距很大,而共情与支持表现则较为一致;整体分相近的模型在不同维度上各有强弱,后续改进空间主要在上下文追问与用户自主性支持。
所属事件:OpenAI 开源 MentalHealthBench 心理健康基准(17 条相关)→
「安全」频道最新
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- 为 20 行小工具起容器太重:Redditor 推出可静态验证的 Safescript — uriwa · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- AI 梳理 42 场黄仁勋播客：出口管制批评在 2025 年 4 月后明显升级 — ShakeelHashim · 2026-11-12
- 20MW 以下小站点绕开监管大战,成数据中心新出路 — antavedissian · 2026-11-12
- Newsweek 撰文：美国应资助医院与高校用联邦学习共建 AI — Saul_Loveman · 2026-11-12