OpenAI 开源 MentalHealthBench 心理健康基准
9 月 24 日,OpenAI 的 Human Flourishing 与安全团队联合心理健康专家,正式开源发布心理健康基准 MentalHealthBench,用于衡量前沿模型在真实心理健康对话场景中的回应质量。数百万用户已在向 AI 寻求心理支持,但此前缺乏系统的评测手段,该基准以开放形式发布,供研究者检验方法、复现评测并继续扩展。
已确认
- 由超过 80 位心理健康临床医生参与构建;据作者 thekaransinghal 介绍,这些专家为来自 22 个国家的持证精神科医生和心理医生,为 1,215 段对话编写评分细则(rubrics),每条样例至少由 3 位专家撰写,并有质量控制流程
- 覆盖用户带给 AI 的完整光谱:从日常情感支持、压力与人际难题,到急性的危机干预场景,团队称这弥补了以往基准只聚焦紧急情况的不足
- 评测结果:据 thekaransinghal,前沿模型应对真实心理健康场景的能力在稳步提升,但模型间差异明显;据 rohanpaulai 转述,GPT-6 Astra 得 57.3%,GPT-4o 仅 32.1%;改进空间主要在于更主动地向用户追问上下文,以及支持用户自己做出决定而非替用户决定
- 据 r0ck3t23 对基准结果的剖析,持证临床医生撰写的回答在该基准上仅得 38.5%,低于多数模型
- 基准可拆解为 10 项行为维度:各模型在「主动追问上下文」上差距悬殊,「共情与支持」表现相对一致,说明单一总分不足以评估 AI 的心理支持能力
- 据 rhiever 概述,基准重点考察模型在抑郁、焦虑、危机求助、边界把握等敏感场景下给出安全、恰当回应的能力,在设定高安全标准的同时衡量 AI 支持用户身心健康方面的进步
为什么重要
该基准为「AI 能否安全、有效地支持用户身心健康」提供了可复现的量化评测工具,其高安全标准设定与多国专家标注流程,可能影响后续心理健康类 AI 产品的研发与评估方式。其多维拆解也提示行业:总分相近的模型在实际心理支持行为上可能差异显著,评估时应关注具体行为维度而非单一分数。而临床医生作答得分反而低于多数模型这一结果,为解读「基准得分高是否等于心理支持更专业」留下了讨论空间。
2026-09-24 ~ 2026-09-25 · 17 条相关
一手来源
- OpenAI 联合 80+ 临床医生发布开源心理健康基准 MentalHealthBench — OpenAI ·
- MentalHealthBench 发布:用开放基准评测 AI 心理健康支持能力 — thekaransinghal ·
- 22 国 80+ 精神科专家标注 1215 段对话,构建 AI 心理健康评测基准 — thekaransinghal ·
- 【源头】OpenAI 联合 80+ 临床医生发布开源心理健康基准 MentalHealthBench — OpenAI · 2026-09-24
- MentalHealthBench 覆盖日常支持到危机干预的全谱系对话 — OpenAI · 2026-09-24
- OpenAI 发布心理健康基准 MentalHealthBench,网友许愿修发际线 — Yuchenj_UW · 2026-09-24
- 【源头】MentalHealthBench 发布:用开放基准评测 AI 心理健康支持能力 — thekaransinghal · 2026-09-24
- 覆盖急症与日常场景,MentalHealthBench 称比以往评测更贴近真实对话 — thekaransinghal · 2026-09-24
- 【源头】22 国 80+ 精神科专家标注 1215 段对话,构建 AI 心理健康评测基准 — thekaransinghal · 2026-09-24
- MentalHealthBench 测评:前沿模型稳步进步,但差距仍明显 — thekaransinghal · 2026-09-24
- 总分相近的模型各有强弱:10 项行为维度揭示 AI 心理支持差异 — thekaransinghal · 2026-09-24
- MentalHealthBench 开源发布,供研究者与模型开发者使用 — thekaransinghal · 2026-09-24
- OpenAI 心理健康基准遭剖析:临床医生得分反而低于模型 — r0ck3t23 · 2026-09-24
- OpenAI 联合 80 余位医生发布 MentalHealthBench:Astra 得 57.3 分 — rohanpaul_ai · 2026-09-24
- OpenAI 发布 MentalHealthBench:专测 AI 心理健康对话安全性 — rhiever · 2026-09-25
另有 5 条近重复转述:thekaransinghal · coherence · thekaransinghal · rhiever · thekaransinghal