10 种人为故障只查出 5 到 6 种,用户模拟器评测指标本身不可靠

On Evaluating User Simulators for Interactive Agents

Hengguang Zhou, I-Hung Hsu, Li Chen, Priyanshi Shrivastava, Anastasios Angelopoulos, Wei-Lin Chiang, Ion Stoica, Cho-Jui Hsieh

cs.LG

2026-11-19

往模拟用户注入 10 种故障做元评测,现有三个评测套件只检出 5 到 6 种,甚至偏爱验收残次品的模拟用户;新三层评测套件 10 项全检出。

这篇在解决什么

用 LLM agent 帮人写代码、做设计已经常态化,评测这类多轮交互却很贵,每次都得有真人来提需求、查产出、给反馈。业界普遍改用 user simulator(用户模拟器),让一个 LLM 扮演用户与被测 agent 交互。麻烦在于,模拟用户自己靠不靠谱,一直缺一套可靠的检验办法。SimulatorArena、VISTA、SWE-Together 各自给出指标,衡量模拟行为与真实用户的相似度或一致性,但没人验证过这些指标能否抓住让模拟器失效的行为:一个模拟用户可以说话自然流畅,同时对手里的残次品照单全收。此前已有工作发现模拟用户测出的 agent 成功率与真人评测存在系统偏差,这篇把矛头指向指标本身:给模拟器评测打出的高分,究竟意味着什么。

方法

核心是 perturbation testing(扰动测试):把评测指标当被测对象,做一次 meta-evaluation(元评测)。失败模式来自 442,516 条真实会话与 20,100 条重放的分析,加上文献里报告过的失效,共设计 10 种扰动注入模拟器配置(重放统一用 gpt-5.6-terra 扮演用户)。同一源会话、同一 agent,各跑一遍对照重放与扰动重放,看指标分数是否随之下跌(敏感性);再拿分数当筛选器,看留下的是不是好样本(过滤能力,以 AUROC 衡量)。

10 种扰动分三层。L1 下游效用:agent favoritism(偏袒指定 agent,放过错误、给更暖的反馈)、profile 提取伪影(把用户对原 agent 的不满固化成持久性格);L2 群体行为:验收残次品、提前截断、front-loading(把互动中才涌现的需求塞进开场白);L3 单条轨迹:换目标、删约束、换文风、co-debugger(替 agent 修 bug)、中途换语言。

针对盲区,论文提出三层评测套件:L1 用模拟反馈给 9 个 agent 排名,与真实用户反应导出的参考排名比 Kendall τ;L2 用四族统计量对比模拟与真实人群(对话行为分布、交互动态、agent 出错后的反应变化、任务信息由用户还是 agent 贡献);L3 逐条重放查目标漂移、约束保留、persona 一致。总分取三者几何平均。

结果

评测套件检出扰动数(共 10)
SimulatorArena6
VISTA5
SWE-Together6
论文套件10

三个现有套件全部漏检 agent favoritism,而它确实改变了 agent 的分数与排名。组合分数还出现方向性错误:验收残次品的扰动人群反而拿高分,VISTA 的 knowledge consistency 在该扰动全量替换时 AUROC 只有 0.01,低于随机。过滤实验里,agent favoritism 全量替换时论文的 L1 达到 AUROC 0.99,外部最好 0.64;放行 5% 扰动样本的阈值下保留 98% 对照人群,Sim2Real 只保留 10%。轨迹层 persona 分数以真实轨迹为正样本时 AUROC 0.90,保留 68%,外部最好 28%。

六个模拟器在 351 条真实会话上比拼(348 个用户、23 种语言,产出 web 应用、游戏、设计资产):

模拟器L1L2L3总分
Sonnet 5 配置47878370
SimulatorArena(gpt-5-mini)57797469
Terra 配置42738464
Luna 配置40727861
τ2-bench(gpt-4.1)33827459
MIMESIS-9B27826151

没有模拟器三层全赢:SimulatorArena 排名一致性最高(Kendall τ 0.67,Sonnet 5 配置为 0.44),Sonnet 5 群体保真最高,Terra 轨迹保真最高。

为什么重要

对用模拟用户做 agent 评测或训练的团队,结论直接可用:现有指标的高分不构成模拟器可用的证据。交互围绕产出物展开时,对话自然和验收把关是两回事,群体层指标也看不出单条会话里目标被换、约束被丢、persona 跑偏。三个诊断层级可以直接搬进内部评测流程,351 条多轮真实会话也一并放出;做 RL 训练环境的团队同样受影响,模拟用户的失真会直接进训练信号。定性案例直观:真实用户只报「颜色不更新」,模拟用户却直接指出 Profile.isanimated 是 property、该怎么改,Terra 的代码轮占比是真实用户的 3.46 倍;另一条重放里,模拟用户主动放弃 8K 分辨率要求,验收了 1920×1080 的成品。

局限与存疑

作者承认敏感不等于能过滤:轨迹层以对照重放为正样本时,persona 的 AUROC 只有 0.62,严格阈值(放行 5% 扰动)下仅 10% 对照存活,误杀严重;层级分数是评测指数,不是校准过的保真概率。premature stop 还暴露了自家框架的盲区:对照模拟器发言轮数比真实用户多,截断反而让会话统计更接近真实参照,L2 四族全部失灵,只靠轨迹层约束指标勉强检出(胜率 0.56)。另有两点存疑:全链路依赖 Claude Sonnet 4.6 当 judge 判反应、判漂移、查约束,judge 自身可靠性没做同样的扰动验证;L1 参考排名是外部输入,换一个参考,六模拟器的 L1 座次可能改写。扰动是人为注入的,信号比真实退化强,更温和的漂移能否抓住,论文没有答案。

术语

原文与代码

社区讨论

相关论文

全部论文解读