研究者警示：User Sim Index 评测可被脚本刷至 95%

Anthropic 研究员 Eric Zelikman 发文指出，业界常用的「User Sim Index」（USI）用户模拟评测存在严重缺陷，不应继续使用。他附带代码构造了一个硬编码的纯规则式伪「用户模型」，在沟通、信息量、澄清追问、错误反应四个行为维度上均可刷分，仅靠固定答案即可拿到约 95% 的高分。他提醒社区不要将 USI 结果当作头条结论，该基准无法真实衡量用户模拟模型的能力。

2026-10-06 ~ 2026-10-06 · 3 条相关

• 研究者警告：User Sim Index 评测可被轻松刷到 95% — ericzelikman · 2026-10-06
• User Sim Index 可被平凡策略刷分,固定答案即达 95% 高分 — ericzelikman · 2026-10-06
• 研究者提醒：正则脚本能刷爆 User Sim Index,勿当头条结果 — ericzelikman · 2026-10-06