给来访者模拟器加一层表达规划,人评「AI 味」从 43% 降到 7%

Words Caught in the Heart: Simulating Person-Specific Expression for Self-Opaque Clients in Psychotherapy

Mengxi Xiao, Jingjing Chen, Ziyan Kuang, Jiarong Song, Wenhao Zhao, Zuchen Han, Yihuai Xu, Xiyang Huang, Jie Gong, Yuechen Jiang, Xueqing Peng, Yankai Chen, Xiaoyan Qu, Min Peng, Qianqian Xie

cs.HC

2026-10-31

Pandora 给来访者模拟加表达规划层,115 案例上表达相似度最高,人评 AI 腔判率 7.2%,基线 43.3–67.2%。

这篇在解决什么

用 LLM 扮演来访者做咨询师训练和评测,已经有 Patient-Ψ、MindVoyager、PatientAct 一批工作。它们共享一个隐患:驱动生成的是咨询师视角整理好的案例描述,把经历、信念、应对模式串成连贯解释。照着这种材料说话,模拟来访者会把苦恼讲得比本人当下理解的更清楚、更成体系。

真实的来访者往往先感到痛苦、后才有能力描述它。能说多少,随情绪强度、感知到的安全感和对咨询师的信任波动;一个困扰可能先以具体事件或试探性的只言片语出现,谈着谈着才逐渐显形。题目里的 self-opaque 说的就是这种状态:来访者对自己的经验并非全然看得清。对训练用途这是实际风险:一个过分善辩的模拟来访者,会让识别和探索问题的难度低于真实场景。风格标签能调语气,压不住那股把心理机制讲得一清二楚的腔调。问题可以概括成:内容对了,说话方式不对。

方法

Pandora 借用 Levelt 说话产出理论里「概念准备」与「语言形成」的分离,把「说什么」和「怎么说」拆成两条显式流水线,每个话轮走五步:

一个关键设计:案例材料按时间截断后全量对模拟器可见,但「来访者此刻理解到哪一步」是另一个变量。可见的是系统,理解是来访者的事。

结果

115 个案例(97 中文、18 英文),来自 PsyDial-D4、AnnoMI、Eeyore Full、ConsistentMI 四个数据集,对比五个基线和一个去掉表达规划的消融版。自动指标测披露内容的时序与依赖对齐(GDS 为综合分)和表达保真度(Sstyle,字符 4-gram 相似度做内容消减后):

方法GDS↑Sstyle↑AIR↓
Pandora0.8710.5667.2%
Pandora 去表达规划0.8280.45835.6%
Consistent MI(最强基线)0.6640.51247.2%
Interactive Agents0.6430.50143.3%
OpenClaw0.6090.39761.7%

AIR 来自人评:45 个匹配披露项(每个记忆层级 15 项),四位评估者(两位咨询师、两位合成数据研究者)独立做二元「像不像 AI」判断,每个来源 180 次判断。Pandora 被判 AI 腔 13 次(7.2%),五个基线在 43.3% 到 67.2% 之间,相对最低的 Interactive Agents 减少 36.1 个百分点。45 个候选没有一个拿到过半数(≥3/4)AI 判定,35 个一张 AI 票都没得。参考原文的 AIR 是 4.4%。

消融最有信息量:去掉表达规划后 GDS 只从 0.871 降到 0.828,仍高于最强基线;Sstyle 却从 0.566 掉到 0.458,低于 Consistent MI;AIR 升到 35.6%,配对差 28.3 个百分点(case bootstrap 95% CI 20.6–36.1)。内容组织基本没塌,「像不像这个人说话」塌了。97 个中文案例单独看,Pandora 的 Sstyle 为 0.489,对 Consistent MI 的 0.427,优势在指标最匹配的语言上仍在。分层披露时序(L1–L3)三层全部领先(0.843/0.854/0.866)。也有没赢的地方:打包频率误差 BFE 上 Interactive Agents 以 0.099 对 0.102 更低。

为什么重要

对做对话模拟、人格化 agent 的人,这篇的核心证据是架构层面的:语义计划和语言实现值得分成两个模块。上游把内容、状态、策略都组织好了,个体声音依然不足,补一个显式的实现层才同时拿到相似度和人评收益。这个接口不绑定心理咨询,任何要维持「这个人怎么说话」的角色模拟都能借用,代码已开源。

对心理健康工具开发者,它点名了一个测量盲区:被 AI 味出卖的模拟来访者会让训练场景失真。判断要克制:论文验证的是表达保真度和感知 AI 味,对咨询师训练有没有实际提升,论文自己说留待后续研究。

局限与存疑

作者自述:语料以中文为主且含重构或生成材料;心理状态的数值设定是设计选择,消融只评了表达规划整体,没拆各个信号;人评只有四位评估者且是共同作者,评的是孤立话语,平均成对一致率 62.9%,source-reveal 用法没记录,盲法不能确认完整。

读下来再补几点:评估集(Core115)和多数指标(LDDA、GDS、AIR 流程)都是这篇自建的,没有外部基准可横比;内容消减的掩码词典面向中文,英文案例的证据较粗;参考原文 AIR 4.4% 和 Pandora 的 7.2% 很近,但参考材料本身含生成内容,不构成「达到真人水平」的证明。BFE 上 Interactive Agents 仍占先,说明简短直给的回复在打包行为上有自己的优势。

术语

原文与代码

相关论文

全部论文解读