PenaltyBench:11 个 AI 智能体判点球,Gemini 4 Carbon 胜过 VAR 裁判
ziqiao_ma · x · 2026-11-18
Wenhao Chai 发布 PenaltyBench:让 11 个 AI 智能体观看剪在裁判判罚之前、去声并遮盖图文的 2026 年点球争议片段,与裁判专家结论对照打分。
- 赛制:101 个片段(63 点球 + 38 非点球)上的平衡准确率,全判点球只得 50%;智能体在断网沙箱内作答,每次最多 40 分钟(Qwen 4 Max 给 2 小时),失败可重试两次,无答案算错;只保留 Gemini 4 Carbon 凭文字描述想不起来的事件。
- 结果:Gemini 4 Carbon 以 63.3 居首,超过带 VAR 的真人裁判(62.3)和 GPT-6.1 Terra(62.0);场上主裁仅 48.5,低于多个模型。新发布的 Qwen 4 Max 与 Inkling 2 Small 分别为 52.0 和 50.6。
- 附带信息:帖子顺带披露了新模型 Qwen 4 Max 与 ThinkMachines 的 Inkling 2 Small 进入排行榜。
- 网站还提供各模型观看帧轨迹的 traces,展示分歧原因。
「模型」频道最新
- 复现权重空间编程:模型写出的网络可独立反编译成同款程序 — kalyan_kpl · 2026-11-18
- 两个 LLM 互聊 20-30 轮后趋向灵性话题,Anthropic 曾写系统卡记录 — RazzmatazzAccurate82 · 2026-11-18
- NVIDIA 开源 Nemotron 3.5 Bolt E4B 4GB,4B 级小模型主打快对话 — kalyan_kpl · 2026-11-18
- 腾讯混元 Hy4 flash 开源:224B 总参 12B 激活、1M 上下文 — TencentHunyuan · 2026-11-18
- 反直觉:给 Qwen3.8-27B 设思考上限,GPQA 反而从 115 涨到 160 — AIFlow_ML · 2026-11-18
- 截图曝光多款未发布模型名:Gemini 4 Argon、Claude Opus 4.6 现身选择器 — Small-Peach6554 · 2026-11-18