专题 · FULL STORY

Astra 下棋实测：从输给机器人到反超

Mike Frank 连续多日实测 OpenAI 新模型 Astra 下国际象棋：初期败给 1300 分机器人，加入可视化工具后逐步反超，无引擎条件下测得 Elo 超 1800，展现前沿模型棋力的快速演进。

2026-09-06 ~ 2026-09-08 · 5 集 · 28 条

第 1 集 · Astra 下棋实测：先输 1300 分机器人，Ultra 加可视化工具反超(2026-09-06,7 条)

09-06，MikePFrank 连发多帖实测让 AI 模型 Astra 直接下国际象棋，对手是 chess.com 的 Nelson 机器人（ELO 1300，中级棋力）。结果显示：模型无人辅助时棋力不佳，昏招频出最终落败或认输；即便调高推理档位到 Extra High 仍未取胜；但换到 Ultra 档并配合自建的单步棋盘可视化工具后，Astra 完全压制 Nelson 并取胜。这组实测既暴露了前沿模型长程策略推理的短板，也展示了用编程与代理能力弥补棋力的替代路径。

已确认

  • Astra 在 High 档无人辅助对弈时，开局一度与 Nelson 持平，但中盘多次出现明显昏招，最终投子认输（m1、m6、m7）。
  • 作者将推理档位调到 Extra High 重试，第二局表现稍好，但仍输给了 Nelson（m3、m4、m7）。
  • 模型没有借助外部引擎作弊（m1）。
  • 对局后 Astra 用浏览器现场编写了一个棋局回放应用并截图展示；作者还让它加装「单步棋盘可视化」能力，用于避免犯低级失误（m3、m4）。
  • 关键转折：Astra（Ultra 版）在配合单步棋盘可视化工具后完全压制 Nelson，对方局面崩到「早该认输」的程度，最终取胜并公布完整复盘链接（m5、m6）。
  • 作者指出 LLM 开箱即玩国际象棋的水平历来不佳，但现代模型可以直接写出完整的国际象棋引擎，他让 Astra 实际尝试用代码弥补棋力短板（m2）。

为什么重要

  • 这组实测直观展示了当前前沿模型在长程策略推理（下棋）上的短板：即便调高推理档位到 Extra High，仍不敌 1300 分的中级 bot。
  • 但结局并不只是「翻车」：换到 Ultra 档并让模型自装可视化工具后成功反超，展示了一条替代路径——模型棋艺不行，却可以现场写引擎、写可视化工具，用编程与代理能力弥补原生推理短板，这正是「代理式用 AI」的典型玩法。
  • 这类连续实测也提供了一个观察视角：同一模型在不同档位与外部工具配置下的能力差异可能非常大，单纯一局胜负不足以评判模型水平。

第 2 集 · 疑似首次：GPT-6 Astra 纯模型下棋击败国际象棋引擎(2026-09-06,3 条)

Mike Frank 观察到一局 LLM 与真实国际象棋引擎的对抗，称这可能是首次见到 LLM 不靠作弊（如偷偷内置棋引擎）、不借助任何特殊 harness，直接以纯模型输出正面击败真正的国际象棋引擎。该模型 Astra 完整复原了这盘对局（从 1.d4 d5、2.c4 dxc4 等开局一路列出），全程 41 步以 Qx… 完成将杀，着法已与原始棋谱核验通过。

第 3 集 · OpenAI Astra 挑战 1800 分国象机器人落败(2026-09-06,7 条)

9 月 6 日至 8 日，Mike Frank 连发帖子直播 OpenAI 新模型 Astra（Ultra 配置，配备棋盘可视化工具）在 chess.com 上与 ELO 1800 的 Wally 机器人进行国际象棋对局，Astra 最终落败，直观展示了前沿模型在棋类任务上的能力上限。

已确认

  • 同一配置的 Astra 此前曾轻松战胜 ELO 1500 的机器人，Mike Frank 本意是测试其能力上限，结果在 1800 分处翻车；对局前半程双方比分相当接近
  • 对局关键转折：Astra 将象撤到 d3，Mike Frank 当即预言这枚象将被困死；随后 Wally 推进 b 兵并在 b5 交换兵，接着把 c 兵推进到 c4，对象形成直接吃子威胁，该象无路可逃，正式失子，印证了作者的预言
  • Mike Frank 复盘指出 Astra 早期依赖的引擎分析不充分，且太晚才意识到这一点；失子后 Astra 一度挽回子力、多出一兵并指望升变，但局势已过于被动
  • 终局阶段：在被 Wally 连续将军后，Astra 判断无法逃脱即将到来的将死，主动认输

为什么重要

  • Astra 此前战胜 1500 分机器人表现尚可，此局直观呈现了前沿 AI 模型在看似简单的棋类任务上的稳定性短板：开局判断失误叠加对局势发展缺乏预判，最终难以挽回
  • 这类公开的逐步直播复盘（从预言象被困到应验、再到认输）为观察前沿 AI 模型的推理与规划能力边界提供了具体案例

第 4 集 · Astra 无引擎国际象棋实测 Elo 超 1800(2026-09-07,5 条)

Google Astra 模型的国际象棋实力引发关注：09-07 thomasahle 发帖询问 Astra 的棋力，ivenger 回复称据已有评测约在 Elo 1500-1800 之间。09-08 Mike Frank 分享实测结果：为避免模型「作弊」（下载 Stockfish 引擎或棋局数据库），他专门验证了模型不借助外部工具下棋，实测等级分已超 1800，属业余较高水平。

已确认

  • 09-07 thomasahle 询问 Astra 国际象棋水平；同日 ivenger 回复已有评测显示约 Elo 1500-1800。
  • 09-08 Mike Frank 实测：禁用 Stockfish 与棋谱库后，Astra 等级分超过 1800。
  • Mike Frank 还指出，此前 tile 拼图一事中，Astra 本可以在几分钟内自己写出求解器，暗示其实际能力可能被低估。

争议

  • 09-08 iruletheworldmo 质疑国际象棋 benchmark 的意义：模型完全可以下载 Stockfish 这样的顶级引擎击败世界棋王 Magnus Carlsen；但该基准仍受关注，正是因为它测试的是模型自身推理能力，这也是 Mike Frank 强调「不作弊」测试的原因。

为什么重要

  • 国际象棋已成为检验前沿模型通用推理能力的代表性场景，但测试方法（是否禁用外部工具）直接决定结果可信度。此次实测排除引擎与棋谱库后，给出了更接近模型真实棋力的参考数据，也侧面反映当前前沿模型多领域推理能力已达可观水平。

第 5 集 · Astra 换自研引擎复仇，31 步将杀 1800 分棋机器人(2026-09-08,6 条)

开发者 Mike Frank 的 AI 智能体 Astra 在国际象棋人机对决中完成复仇：换用自研引擎并放宽时限后，Astra 执黑第 31 步将杀约 1800 分的 Wally 机器人，整局仅比对手多花约 6 分钟。作者据此判断其棋力已明确超过 1800 ELO。这一案例展示了通用智能体通过自写引擎与深思策略逼近较强棋类 AI 的可能性，且方案计划开源，可供社区复现检验。

已确认

  • Astra 此前与 Wally 对战多次失利，作者经过几轮引擎改进后推出 Astra (Ultra) v0.2，并改用自研（home-grown）的 Python 博弈引擎
  • 对局条件放宽为 1 小时时钟和更灵活的走子时间控制，Astra 执黑将杀获胜（0–1）
  • 中局阶段 Astra 打出后车捉双（fork），最终评估优势达 +20
  • 引擎在第 29 回合即算出两步杀，实际于第 31 步完成将杀；整局 Astra 仅比对手多用了约 6 分钟
  • 作者公布了第 9 局的完整交互式复盘（netlify 页面），并首次附上引擎为每一步给出的评估分；第 10 局回放也已托管公开
  • 在被 thomasahle 问及所用框架时，作者透露方案是 Codex 加上自制工具与 skills，并表示准备开源到 GitHub

尚未确认

  • 「超过 1800 ELO」是作者基于对局表现的个人估计，Astra 的确切棋力未经正式等级分测量；开源计划亦尚未落地

为什么重要

  • 该案例显示通用 AI 智能体可以不依赖现成国际象棋引擎，而是自行编写并迭代博弈引擎，在宽松时限下借助 deliberation 深思策略达到接近 1800 分人类的水平
  • 作者公开带引擎评估分的逐步复盘，为社区检验 Astra 的真实决策过程提供了可验证材料；若开源兑现，这一「Codex + 自制工具」方案还可被复现与扩展