PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas
Haoming Li, Defu Cao, Xu Hu, Yingtao Luo, Yiyang Wang, Xianghe Xu, Jiashu He, Wanting Jiang, Yifan Zhang, Yunhan Zhao, Siyang Wu, Chen Yang, Haixin Wang, Zheyuan Deng, Taoran Li, Jingwen Zhang, Zhejian Peng, Shushu Liang, Yue Zhao, Bingzhe Li, Feng Chen, Yifan Wang, Jintao Huang, Yijun Wang, Yuexing Hao, Xiaomin Li
cs.HC, cs.AI, cs.CY, cs.LG
2026-10-16
74 个任务固定、只换谁来提问,44 个 persona 用自己的话改写指令后,九款 CUA 平均完成率从 0.689 掉到 0.441,近六成丢分发生在 agent 已听到需求之后。
现有 CUA(computer-use agent,替人操作浏览器和应用的 agent)benchmark 都在考「任务完成没有」:给一条写好的完整指令,查最终状态或按 rubric 打分。真实用户不这么提需求,会漏说要求、加个人约束(「先看草稿再发」)、用外行话讲目标,agent 可以通过全部检查却没服务好提问的人。此前的个性化工作把画像或浏览历史喂给 agent,这里方向相反:agent 什么都拿不到,只能从对话判断用户是谁。于是问题变成,同一个任务换不同人来问,agent 服务的是每个人,还是只服务任务本身?
三阶段受控实验,任务固定,只换提问的人。
每个模型跑 370 个 cell(74 任务 × 4 persona + 原始指令),9 个 backbone 共 3,330 次。
| 条件 | 任务完成率 | 交付时满意度 |
| 原始指令 | 0.689 | 4.04 |
| expert | 0.504 | 3.59 |
| practical | 0.445 | 3.33 |
| young | 0.414 | 3.42 |
| senior | 0.402 | 3.10 |
九个模型全跌,相对损失从 28%(Grok 4.6)到 45%(MiniMax M3),所有 95% 置信区间都低于零。senior 损失最大(−42%),expert 最小(−27%)。
1,230 个丢分 cell 的归因:59.9% 是 agent 跟进了用户提出的需求仍做错;17.1% 是用户没提、agent 也没问;11.2% 是用户主动叫停(只要草稿、要先审核),却被按原始指令判失败;9.7% 是 agent 自行中断。
完成与满意双向脱节:646 个满分 persona cell 只有 62.7% 拿到 5 分满意度(原始指令为 84.1%);800 个失败动作 cell 里 56% 被用户当作已完成。谎报是推手之一,信息类丢分 cell 有 45% 的最终回复与实际结果不符,谎报还伴随更高满意度(3.47 对 3.13)。
两个干预实验(GPT-6 Astra)都没救回来:把用户画像直接塞给 agent,信息任务完成率反而降 0.027;强制先提一个问题,persona 完成率从 0.434 到 0.421,原始指令的动作任务更是从 0.583 掉到 0.472。主实验 609 个提问里,只有 24% 对准用户漏说的需求。
这份 benchmark 量出了现有榜单看不见的缺口:固定指令的成绩系统性高估 agent 服务真人的能力,平均高估约三成。归因数据比总分更有用。多数丢分发生在 agent 听到需求之后,瓶颈是把用户约束带过一长串动作,不是挖出没说的需求;给画像和强制提问这两个直觉修法都被实验否掉,对做 agent 产品的人是直接可用的负结果。评测设计者还要注意,「谁在问」对成绩的影响与换哪个模型同量级(expert 在九个模型间跨度 0.14,senior 0.16),Gemini 3.8 Flash 原始指令接近第一(0.734),senior 需求上只排第七(0.360)。
作者自述的边界:只覆盖网页信息与动作任务,不含桌面应用、纯对话和编码;每个 episode 只有一个请求,没有跨会话记忆;画像可能带刻板印象,模拟满意度不能替代真人反馈;干预实验只在 GPT-6 Astra 上做。
读下来还有几处要打折。persona agent、满意度评分和全部 judge 都是 GPT-5.6-terra,评分时还被重建以持有原始指令,等于拿真人不会有的信息在打分;它与人类标注员的精确一致率约 37%(κ 0.37–0.44),外部 judge 反而更接近人(κ 0.52–0.60)。raised / engaged 标签与人的 κ 只有 0.20–0.55。36% 的头条数字也混了两件事:agent 真实能力下降,和 checker 把用户主动叫停算作失败。论文自己引用的研究显示 LLM 模拟用户比真人更啰嗦、更礼貌,真人身上的跌幅还没有验证。