OpenAI 心理健康基准遭剖析：临床医生得分反而低于模型
r0ck3t23 · x · 2026-09-24
OpenAI 构建 MentalHealthBench 衡量 AI 处理心理健康对话的能力，结果显示持证临床医生撰写的回答仅得 38.5%，低于多数模型，GPT-6 Astra 得 57.3%。
基准构成
- 包含 1,215 段合成对话，涵盖关系压力到紧急危机
- 来自 22 国的 80 多名心理/精神科医生参与制定评分标准，每段对话由多名医生审阅
作者指出的方法学问题
- 覆盖面得分偏差：评分按满足的 rubric 条目比例计分，面面俱到的回答天然得分更高；而医生倾向简洁回应——一个精准的提问在真实对话中可能更有用，但「少伤害反而低分」
- 提前拿到 rubric 的写手可得约 99%；针对医生 rubric 优化则用户版得分降至 70.7%，反之仅 55.2%——两个「好回答」定义只有约 25.7% 权重重合
- 评分由 GPT-5.6 Sol 完成，且排名前二的均为 OpenAI 模型，裁判与选手同源
背景
- APA 2026 调查：77% 心理学家称患者曾讨论使用 AI，35% 称患者把 AI 当作辅助心理专业人士
- 作者也肯定 OpenAI 基准完全开放、明确定位为诊断工具而非排行榜，并公开了医生得分而非隐瞒
所属事件:OpenAI 开源 MentalHealthBench 心理健康基准(17 条相关)→
「模型」频道最新
- Artificial Analysis 榜单权重被批随意，随时间大幅变动 — HamelHusain · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12