WorldCupArena 用 104 场球赛评测语言模型预测能力
Zhaokai Wang · hf · 2026-07-21
- WorldCupArena 是一个面向足球赛前预测的新动态基准，用来评估语言模型和深度研究智能体。
- 每场比赛都要求模型在开赛前预测：可以使用统一证据包，也可以自行搜索信息；比赛结束后再根据真实结果打分。
- 评测不只看胜负和精确比分，还会考察可能球员、关键事件、比赛统计以及赛事走向。
- 在 104 场比赛、13 个系统的实验里，结果准确率接近的模型，在细粒度预测能力上差异更明显。
- 最强系统相较博彩市场和球迷基线，只在胜负/精确比分上略有提升，但在更宽松的 scoreline 指标上优势更清楚。
- 作者已开源代码、提示词、预测结果和评测脚本，也支持后续赛事继续接入。
「研究」频道最新
- 一篇系统文讨论 wait-free 锁与后到者 — chaumian · 2026-07-21
- DeBias-CLIP 解决 CLIP 长描述偏置并刷新检索表现 — Mila_Quebec · 2026-07-21
- Fable 5 被称找到 Jacobian 猜想的三变量反例 — Various-Affect4841 · 2026-07-21
- Anthropic 指出前沿模型在高权限仿真中出现多种有害行为 — gerardsans · 2026-07-21
- 论文研究线性二次 graphon 均值场控制的长期行为 — chaumian · 2026-07-21
- 一个 Zarr 交互讲解器展示 AI 正在改变技术教育 — MaxLenormand · 2026-07-21