126 万盲投数据：AI 不是变笨了，是用户标准每月提高 1.71 个百分点

rohanpaul_ai · x · 2026-11-14

分析 Chatbot Arena 上 2023 年 5 月至 2024 年 8 月的 1,260,967 次盲投，只保留版本冻结的模型对（日期快照、固定开源权重），发现：模型不变的情况下，「两个都差」的投票占比每月上升 1.71 个百分点（基线均值 17.1%），2024 年每月升幅达 1.91 个百分点；常见模型对的该占比从 15.5% 涨到 23.3%。同时 2024 年强模型的胜率基本持平，排名并不漂移。结论：模型没变差，是用户的评价标准在系统性提高——这对 LLM 排行榜和用于训练的人类反馈数据都有影响。配图为论文《AI Isn't Getting Dumber, We're Getting Pickier》首页。