PokeBench：给前沿 LLM 1000 回合打通宝可梦红，GPT-6 Astra 246 回合夺冠
VibeCodyH · reddit · 2026-09-22
PokeBench 是一个极简 LLM 评测：每个模型拿到同样的 Game Boy 屏幕、11 个按键、可行走网格和 1000 回合，目标是打败宝可梦红第一道馆馆主小刚——无攻略、无寻路、无提示，统一 prompt。
- 计分采用 10 级里程碑阶梯（出家门→选初始精灵→到 1 号道路→……→打败小刚），失败也能按进度排名。
- 目前 14 次运行中 4 次拿到徽章；最快是 GPT-6 Astra，246 回合通关。
- 最便宜的通关是 Gemini 3.8 Flash，花费 $3.70。
- 免费本地模型 Muse Glimmer 30B 烧完全部 1000 回合，止步「到达 1 号道路」。
逐回合日志、成本和录像全部公开在 pokebench.tv。
「模型」频道最新
- Grok 九周连发三版：4.5 到 4.7 迭代节奏惊人 — XFreeze · 2026-09-22
- 曝 OpenAI 赶造 Codex Bot 对标 Grok Bot，并发文谈递归自我改进 — dotey · 2026-09-22
- 工程师用 Agent 集群 20 小时自主训出对标 Jev 的模型,总花费仅 3100 美元 — denisyarats · 2026-09-22
- 博主发起挑战:记录每日 token 消耗,验证 AI 公司是否暗中降限额 — tomchapin · 2026-09-22
- Grok 4.7 上手首日:严格遵循 system prompt,实测优于 4.5 — elonmusk · 2026-09-22
- MoVA 新架构:稀疏值专家提升注意力容量且不增 KV 缓存 — rupspace · 2026-09-22