200盘棋见分晓:Opus从1500涨到1760,GPT却从1810跌到1400
新智元 · wechat · 2026-10-05
大模型竞技场 Arena AI 能力负责人 Peter Gostev 做了一场「AI 自学下棋」实验:让模型不改权重、只靠记笔记复盘,与 Stockfish 下 200 盘棋,结果两条曲线完全相反。
实验设置
- Stockfish 分三档(最弱 Skill0、限 1800 分、满血),模型自选难度;GPT 走 Codex,Claude 走 Claude Code;唯一禁令是不准调国际象棋引擎代下,Gostev 亲自查过无作弊。
- 灵感来自 Reddit「时间循环」题:普通人每输一盘重置时间,但保留记忆,能否练到赢卡斯帕罗夫。
结果
- Opus 5.5 越练越强:前 75 盘在 1450–1550 徘徊,随后飙升至最高 1840,第 194 盘报 1760;对 1800 档得分率从 30% 涨到 50%;对 Skill0 从五成到九成。Oriol Vinyals(前 DeepMind 副总裁)点赞,称这是典型的上下文学习。
- GPT-6 Astra 越练越退:第 29 盘 1810 分,200 盘后跌至 1400;对 1800 档得分率从 44% 一路跌到 12%。
- 可能解释:Gostev 猜测是 Astra 的 272k 上下文窗口被笔记撑爆导致退步,但尚未有对照实验;他已开设 828k 上下文的 GPT-6.1 Sol 专用跑道继续验证。
- Elo 口径说明:分数基于最近 50 盘对阵 Skill0/1800 档估算,不代表人类棋手同分段水平。
实验指向的核心问题:训练结束后权重固定的模型,能否靠上下文里的笔记与复盘实现持续自我改进——Opus 的 250 分上涨给了一条肯定线索。
所属事件:AI自学200盘国际象棋:Opus棋力上涨,GPT反而退化(3 条相关)→
「模型」频道最新
- Reddit 热议:29 美元买到 200 美元档 Claude Max 账号,灰产怎么赚钱? — mehdiweb · 2026-11-20
- Gemini 4 Neon 体感优于 Carbon,但缓存命中率与首延迟拖后腿 — lyraxana · 2026-11-20
- LMArena 上架 Peter Gostev 提示词合集,可在其 YouTube 频道观看 — arena · 2026-11-20
- CrusaderBench 排行:GPT 6.2 Sol 79 分登顶,Gemini 4 Neon 居次席 — Hesamation · 2026-11-20
- Cloudflare 发布开源多模态模型 clairic,基于 Qwen3.5 做信息抽取 — Cloudflare · 2026-11-20
- OpenAI 内部再现「Code Red」,Google 翻盘让对手感受到压力 — iruletheworldmo · 2026-11-20