User Sim Index 可被平凡策略刷分,固定答案即达 95% 高分

ericzelikman · x · 2026-10-06

研究者 ericzelikman 指出,业界常用「User Sim Index」(USI)评测用户模拟模型并不靠谱。他附上代码,展示一个硬编码的「用户模型」在其四个行为维度上拿下 95% 总分:沟通 97%、信息 97%、澄清 92%、错误反应 95%,声称这超过任何已发布模型。

补充发现:USI 还包含一个较少被报道的「survey-alignment score」,原论文最高分为 78.3%——只要永远返回倒数第二个选项,就能超过或追平这一成绩,说明该指标极易被平凡策略攻破,不适合作为用户模拟能力的评价标准。