200 局国际象棋实测：作者认为上下文学习目前并不奏效
akbirthko · x · 2026-10-16
原帖作者让模型在原生 harness 与连续上下文下下了 200 局国际象棋，又组织 Astra 与 Opus 对战，结论是当前的 in-context learning 基本不工作。他公布了约 55 万条记录与 harness 结构，并给出几点观察：
- Opus 的 Elo 上涨明显并超过 Astra，但正式对抗赛却以 5.5:24.5 惨败给 Astra
- 模型会给自己留下笔记和心得，但之后仍反复犯同样的错误
- 作者认为 Elo 的提升更接近 reward hacking 而非真正的学习
- 部分模型 Elo 下降的原因不明，但与上下文长度限制无关
Karpathy 式的质疑者（akbirthko）则认为：没有梯度信号时，仅靠输出 token 加上下文所能学到的东西，相比预训练已学到的价值函数微不足道；实用的 ICL/持续学习更多在于混乱的状态管理，以及为自己和其他 agent 打造更好的工具。
所属事件:实测 200 局国际象棋：模型上下文学习效果存疑(2 条相关)→
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？ — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记，全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色，获赞预训练扎实 — SonglinYang4 · 2026-10-16