127万盲投数据:人类评分变苛刻,不变的模型显得越来越差
rohanpaul_ai · x · 2026-11-14
一项新研究分析 Chatbot Arena 上 126 万条盲投数据,发现在固定不动的模型对上,"两个都很差"的投票比例每月上升约 1.71%——不是模型变笨了,而是人类对 LLM 的评判标准在持续提高。
研究方法上刻意只保留"冻结"模型对(带日期快照、固定开源权重),确保模型本身从未变化,从而把评分变化完全归因于人类标准漂移。结论:即使聊天机器人毫无改动,在用户眼中也会月复一月显得越来越差。
所属事件:126 万盲投数据：不是 AI 变笨而是人类标准在提高(2 条相关)→
「研究」频道最新
- LMSYS 携手 NVIDIA 实测：Vera CPU 跑沙盒，agentic RL 训练单回合快 11% — ying11231 · 2026-11-14
- Judea Pearl 论战因果推断：「死亡截断」问题无需技巧，微积分即可解 — yudapearl · 2026-11-14
- 1956 年 C.R. Rao 与 Fisher 罕见合影，附 Fisher-Rao 几何公式科普 — FrnkNlsn · 2026-11-14
- 研究者质疑 Goodfire 可解释性论文：消融致 loss 升 2.9% 相当于扔掉九成算力 — RylanSchaeffer · 2026-11-14
- 潜在反馈4行代码省46%预训练算力,省的数据随模型变大而增多 — _arohan_ · 2026-11-14
- 关键图表：METR 断点后每倍增算力进展提速 1.6 倍，直通失控 RSI — sebkrier · 2026-11-14