研究者提醒：正则脚本能刷爆 User Sim Index,勿当头条结果

ericzelikman · x · 2026-10-06

Anthropic 研究员 Eric Zelikman 指出，AI 圈常用的「User Sim Index」（用户模拟评测）存在严重缺陷。他附上一段代码，构造了一个纯规则式的伪「用户模型」，在 comms、info、clarify、error reaction 四个行为维度上分别拿到 97%、97%、92%、95% 的分数——按这套指标甚至超过所有已发布模型。

他补充说明：基于正则/统计的信号本身并非毫无价值，但这类结果不应作为 headline 结论来宣传。评测指标的可操纵性需要被警惕。