Arena CEO:花钱雇人做基准数据集的那一刻,评测就不再真实
arena · x · 2026-10-06
Arena CEO Anastasios Angelopoulos 解释为何付费构建的 AI 基准会失真:「一旦你付钱让人生成基准,它就不再是真实的了」——存在逆向选择问题,付费众包出的私有数据集无法反映真实任务。他强调 LMArena 的价值在于持续获得真实世界的新鲜数据,帮助模型在实际任务上改进;「现实是唯一有意义的裁判」。
「模型」频道最新
- LenVM 入选 COLM 2026 Spotlight：用价值模型预测生成长度省算力 — xwang_lk · 2026-10-06
- 单个模型可同时并行运行多款游戏,博主称对游戏业影响远超文本生成 — maximelabonne · 2026-10-06
- SemiAnalysis 实测各家 AI 订阅：Anthropic 性价比超 OpenAI 5 倍 — scaling01 · 2026-10-06
- Qwen3 27B 在 Unsloth 上频繁触发「本轮已多次检索」限制 — AudieMurphy135 · 2026-10-06
- 研究员观察:中国模型在 Delvetown 里的社交动态被严重低估 — lfschiavo · 2026-10-06
- NVIDIA 竞赛编程模型开源,IOI 2026 得 535.4 分超人类最高分 — NVIDIAAI · 2026-10-06