PSI-Bench 发布:专用患者模拟器行为逼真度超过通用助手 LLM

alexisjross · x · 2026-11-10

UIUC 团队发布 PSI-Bench,一个评估 LLM 抑郁症患者模拟能力的基准,获 COLM 2026 Social Sim 方向最佳论文奖。基准基于心理语言学研究设计多个维度,并与专家整理的抑郁症相关对话集 Eeyore 对比,以 0-100 分衡量模拟结果与真实人类患者的接近程度。

关键发现:三个专用用户模型 Persimmon、OSim-8B、Ditto-8B 在行为逼真度上全部超过用作患者的通用助手类 LLM。其中 Persimmon 未经任何针对性训练,就能建模人们在心理治疗过程中叙事与情绪的演化(如 Problem→Transition→Change 的 NEP 标记转变、情绪效价变化等维度)。榜单开源,支持通过 PR 提交新模型。