开源 PokeBench：模型真打宝可梦红，一个打进四天王
afk-sapien · reddit · 2026-10-21
受 Claude Plays Pokemon 启发，作者开源了 PokeBench，用模拟器跑真实 Pokemon Red ROM 对比模型能力：- 每回合输入截图与屏上文本、队伍状态、背包、已见地图瓦片、结果反馈，以及模型自写的笔记本用于长程记忆；- 提供「技能」快捷操作（如对皮卡丘用药水、换位、放电）并自动跳过纯对话按键，让 token 花在决策而非翻菜单，全程真实回合与道具消耗，不读隐藏 flag。两级基准：PokeBench 47 个短任务（导航、道馆战、战术、手动菜单等，0-1 计分）；PokeBench Long 从头通全流程，50 个剧情里程碑共 1000 分，统一 2000 次决策上限。结果：Astra 在上限内进展最快，放开限制后拿下 8 枚徽章、在 7627 次决策时击败四天王中 3 人（订阅耗尽没打完）。Sonnet/Haiku/Luna 则陷入循环被无进展守卫终止；Haiku 短任务接近 Sonnet，但全流程只得 10 分——短任务能力与长时程持续进展能力看起来是两种独立能力。注意：业余项目，每模型只跑一次，无误差棒，各家 effort 设置不统一。
「Fun」频道最新
- REK 新款人形机器人亮相，人类挂上吊架模仿同款站姿 — edgarpavlovsky · 2026-10-21
- PHP 漏洞连环爆,研究员建议用 Codex 把代码重写成非 PHP — basedjensen · 2026-10-21
- OpenAI 模型把论文标题误判生物风险，拒绝提取信息 — burkov · 2026-10-21
- 丹麦国民身份系统密码是123456,本周中级CA私钥竟是4 — kingslyj · 2026-10-21
- Matt Damon 碰壁 AI 餐馆梗图走红：「命运眷顾 GPU 穷人」 — SSj_Enforcer · 2026-10-21
- 想让它干别的就别提 AI 数学新成果：Opus 5.5 的可爱分心 — repligate · 2026-10-21