2026-10-01
Ataraxos 用自博弈 RL、信念网络加测试时搜索，在 Stratego 上 15 胜 1 负 4 和击败史上最强棋手，训练成本不足 8,000 美元，同套方法还把 Hanabi 与斗地主推上 SOTA。
不完全信息博弈的既有路线在 Stratego 面前失效了。扑克 AI（DeepStack、Libratus）靠公共信息变换把隐藏状态压缩掉，但开销随隐藏信息量增长，德州扑克每人只有 1,326 种起手牌才枚举得动；Stratego 是 10×10 棋盘、每方 40 枚暗置棋子，合法布阵超过 10^33 种，枚举路线直接出局。DeepMind 的 DeepNash 改用正则化自博弈，1,024 块 TPU 节点训练两到三个月，按 2025 年云价折算约 300 万到 450 万美元，2023 年世界冠军赛现场对人类 19 胜 9 负，对最高排名棋手输多赢少，其中包括 Pim Niemeijer。CMU、NYU、斯坦福、MIT 团队的 Ataraxos 用不到 8,000 美元把这个缺口补上了。
三件套：策略-价值网络自博弈、信念网络、测试时搜索。Stratego 的隐藏状态出现在两个决策点（开局布阵与行棋），训练拆成两个互相喂招的自博弈过程：布阵网络是 decoder-only Transformer，按行优先顺序自回归摆出 40 枚棋子；行棋网络是 encoder-only Transformer，策略头用 key 与 query 的矩阵乘直接输出全动作分布。
自博弈的老问题是正反馈：某个套路被过拟合，对手照着学，两边一起锁死在可利用的均衡里。Ataraxos 的答案是动态阻尼（dynamically damped self-play），把正则强度与更新步长协同退火：早期强正则配大更新，先广撒网；后期弱正则配小步长，精修而不塌。正则侧，布阵网络用最大熵，行棋网络用指向均匀随机策略的反向 KL，按幂律退火；步长侧靠指向数据采集策略的反向 KL、PPO 式重要性裁剪、梯度范数裁剪和 Adam 学习率调度四重约束。
优势过滤是个反直觉设计：只在优势幅度大的走子上更新，小优势样本直接丢弃。直觉上这是浪费数据，实测迭代快 2.5 倍，样本效率和最终棋力反而更高。
信念网络负责猜对手暗子：在自博弈对局上做 teacher-forced 训练，按行优先顺序逐格输出对方隐藏棋子的类型分布，用 dropout 换对人类这类分布外对手的泛化。搜索时它当生成模型用：先采样若干套「对手暗子可能是什么」的实现，再对每个候选走子做深度受限 rollout（由行棋网络模拟双方），平均价值预测后，只对当前决策做一步表格式磁镜下降更新，同样挂上反向 KL 正则，然后采样行动。评估配置为 40 层深、1,000 条 rollout，平均每步 1.26 秒，比人类落子还快。
正式评估是对 Pim 的 20 局：15 胜 1 负 4 和，有效胜率 85%（和棋计半胜），精确单侧二项检验 P < 2.6×10⁻⁴。Pim 手握 4 项世界冠军头衔（并列历史最多）、15 次荷兰全国冠军、2 次线上世界冠军，累计 600 多周世界第一，被同行视为史上最佳。2025 年世界冠军赛现场又下 40 局，38 胜 2 负 0 和。
| 对局 | 指标 | 结果 |
| 对 Pim，20 局 | 有效胜率 | 85%（15 胜 1 负 4 和），P < 2.6×10⁻⁴ |
| 2025 世界冠军赛演示，40 局 | 有效胜率 | 95%（38 胜 2 负 0 和） |
| Barrage 变体，四个 50 局系列 | 系列胜负 | 全胜，P < 1.3×10⁻⁵，首个超人类 Barrage |
| Hanabi 双人，满分 25 | 平均分 | 24.654 ± 0.007，2 到 5 人全部变体刷新 SOTA |
| 斗地主，对 PerfectDou | 平均得分差 | +0.199 ± 0.015；对 DouZero +0.350 ± 0.016 |
| 训练成本 | 美元 | 低于 8,000；DeepNash 约 300 万至 450 万 |
算力与样本的对比同样悬殊：DeepNash 消耗约 55 亿局、5 万亿至 10 万亿训练样本；Ataraxos 约 1.6 亿局、500 亿样本，局数少约 30 倍、样本少约 100 倍，成本约为五百分之一。
搜索消融（扩展数据表 1，对固定参照对手的 Elo）是全文最值得展开的一张表：不搜索、直接从行棋网络采样，Elo 2095；完整搜索配置 2218；把搜索中挂向行棋网络的那项反向 KL 拿掉，Elo 崩到 1733，比完全不搜索还低 362 分。论文的解释是，搜索过拟合了行棋网络自身的怪癖，而这些怪癖换个对手就失效。没有锚定的搜索会顺着模型自身的偏差越走越偏，越搜越错。把学出的信念网络换成均匀随机策略的信念，Elo 从 2218 降到 2148，仍高于不搜索。
棋风上，布阵约三分之二把 Flag 用 Bomb（雷）围死，偏好激进布阵与后排角上的 Flag；行棋难以被读出棋子类型，Scout 留得比人类久，落后时缠斗得更凶，部分人类棋手觉得这种拖延失礼。
其一，这是 Stratego 首个经严格对局验证的超人类 AI，而配方便宜到大学实验室可复现：核心开销是 16 块 H100 一周。其二，同一套「自博弈加信念模型加一步搜索」在三种博弈形态都拿到顶尖结果：纯对抗（Stratego、Barrage）、完全合作（Hanabi，2 到 5 人全变体 SOTA）、合作与对抗混合（斗地主），更像通用设计模式，不是单游戏调参。其三，搜索消融的教训超出游戏：测试时计算不是免费的，没有正则锚定的搜索会比不搜索更糟，把测试时搜索当万灵药的人该把这张表贴在墙上。
作者自述的局限包括：历史信息靠特征拼接而非时序模型；空间-时序注意力或循环结构能让信念网络更准，但直接放进 RL 流程没有带来提升；搜索只做一步更新，上限卡在模仿单步更新，下一步是知识受限的子博弈求解。评估侧的存疑点：20 局样本量不大，精确二项检验要求的各局独立同分布在真人对局里并不成立；与 DeepNash 的直接对局没做成，DeepMind 回复称 DeepNash 的代码已无法运行；Hanabi 与斗地主的对比沿用各自论文的设置而非统一重跑；搜索相对纯网络的优势在对 Pim 的经典 Stratego 对局里未单独测过，直接对照来自参照对手 Elo 与 Barrage。