GoBench:用围棋评估 LLM 推理,与 ARC-AGI 2 相关性达 0.83
Roland31415 · reddit · 2026-09-17
Roland31415 发布 GoBench,让 LLM 在 9x9 围棋上对阵从随机到超人级的 KataGo 对手阶梯,以衡量通用推理能力:
- 基准与 ARC-AGI 2 成绩强相关(r=0.83),且远未饱和
- GPT-6 Astra max 达约 2500 Elo,远低于最强 KataGo 的 4400 Elo
- 配合编码工具并在赛前准备两小时后,Codex with Astra 可达 3560 Elo,显示工具调用对推理短板的弥补
排行榜、代码与论文均已公开,作者承诺持续更新榜单。
所属事件:GoBench发布：用围棋测LLM通用推理(2 条相关)→
「模型」频道最新
- Google DeepMind 寄出 Gemini 4 Argon 礼盒，新模型提前曝光 — kimmonismus · 2026-11-02
- Nanbeige4.3-33B 上线 Hugging Face,被称 Qwen 竞品 — amaarora · 2026-11-02
- r/LocalLLaMA 提议自建私有质量基准:别再疯追 tok/s — Express_Quail_1493 · 2026-11-02
- 10 款 AI 生成 A4 版式 PDF 实测：仅 Claude、Gemini、Mistral 及格 — gerardsans · 2026-11-02
- 中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍? — uneatenbreakfast · 2026-11-02
- Google 开源 EmbeddingGemma 2：手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02