OpenAI 联合 80 余位医生发布 MentalHealthBench：Astra 得 57.3 分
rohanpaul_ai · x · 2026-09-24
OpenAI 发布开源基准 MentalHealthBench，评估模型在真实心理健康对话中的表现：GPT-6 Astra 得 57.3 分，GPT-4o 仅 32.1 分。
- 动机：既有评测多聚焦紧急情况与宽泛安全标准，日常、模糊场景的对话长期缺乏度量
- 构建方式：与来自 22 个国家的 80 余名执业心理医生和精神科医生共建，覆盖 19 种语言、近 20 个子专科
- 评分机制：每段合成对话配有专家定制评分细则，涵盖寻求上下文、保留用户自主权、安全与恰当引导等行为；每例至少 3 位专家审阅，一条标准需 2 人同意且第 3 人不反对才保留
- 局限：由 GPT-5.6 Sol 按人类撰写的标准给模型答案打分，得分质量仍部分依赖 LLM judge
基准已开源，供其他研究者检验方法、自行评测并在此基础上扩展。
所属事件:OpenAI 开源 MentalHealthBench 心理健康基准(17 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12