策略网络选点、价值网络估胜率,AlphaGo 这样攻克围棋

2026-08-11

AlphaGo 靠策略网络选点、价值网络评棋,叠加强化学习与蒙特卡洛搜索,5:0 击败职业棋手樊麾,首次让电脑拿下围棋。

这篇在解决什么

围棋被公认为经典棋类里最难啃的硬骨头。难点不是规则复杂,而是两条:搜索空间大到穷举不可能,棋局状态数远超国际象棋;以及一个局面「到底好不好」极难评估,一步棋的价值常常要到几十手之后才显现。1997 年「深蓝」拿下国际象棋后,围棋长期被业内认为「至少还要十年」才能被电脑攻克,那时最强的程序仍停留在人类业余水平。当时最强的方法是蒙特卡洛树搜索(MCTS),用大量随机模拟去估局面,但靠的是暴力模拟,没有真正的「棋感」。

方法

AlphaGo 的核心是把人类的棋感蒸馏成神经网络,再让网络自己超越自己。它训练了两种网络:

• 策略网络(policy network):输入棋盘局面,输出每个合法落子的概率,即「下一步该走哪」。
• 价值网络(value network):输入局面,输出这个局面最终赢棋的概率,即「现在形势好不好」。

两个网络都通过监督学习与强化学习训练得到:先用人类高手的对局棋谱做监督学习,教网络模仿专业棋手的选点;再用强化学习让程序自我对弈,不断打败前一版的自己,把水平推到人类棋谱之外。对弈时,AlphaGo 把这两个网络接进蒙特卡洛树搜索,用策略网络缩小该搜的分支,用价值网络和蒙特卡洛模拟给局面打分,在有限次模拟里做出远比纯 MCTS 精确的判断。

这套设计最关键的取舍在「预测的对象」:它预测的是结构化的潜变量,选点分布和价值评估,与今天大语言模型预测下一个 token 的范式不同。

结果

摘要给出的几个数字:

需要说明:更细的分项 Elo 等级分、各网络单独的命中率等数据在 Nature 原文的付费墙内。本篇依据公开摘要与图表标题写成,未取到正文细节。

为什么重要

这是电脑程序第一次在 19 路围棋上击败人类职业棋手,把「至少还要十年」的预期直接兑现。对从业者的启示是这套配方:先蒸馏人类直觉,再用自我对弈超越它,最后把学到的判断接进搜索。这条思路后来被 AlphaZero 去掉对人类棋谱的依赖、被 MuZero 推广到不掌握规则的环境,成为「先学评估、再搜索」这一派的模板。

放到当下的讨论里看,AlphaGo 在 token 预测成为主流范式之前,就靠预测价值与策略这种结构化潜变量达到了超人类水平。它是一个实在的反例:预测下一个 token 并非通往强 AI 的唯一抽象层级。

局限与存疑

• 依赖人类棋谱:策略网络先用人类对局做监督学习起步,这条「先抄人」的路径后来被 AlphaZero 取消,说明它还不是最干净的自我学习方案。
• 围棋太「干净」:完全可见、确定、零和、完美信息,真实世界几乎没有这样的环境,这套方法的边界远没到通用智能。
• 正文未取到:本篇依据 Nature 公开摘要与图表标题,精细的对照数字无法核对,如需引用具体 Elo 或命中率请查原文。

术语

• 策略网络(policy network):输入棋盘、输出每个落子概率的网络,负责选点。
• 价值网络(value network):输入棋盘、输出当前局面赢棋概率的网络,负责评估形势。
• 蒙特卡洛树搜索(MCTS):用大量随机模拟估算每个局面价值、逐步聚焦更有希望分支的搜索方法。
• 潜变量(latent variable):不能直接观测、需从数据推断的隐藏量;这里指价值、策略这类模型内部预测的结构化对象。
• 自我对弈强化学习:让程序和自己之前的版本下棋,从胜负反馈里继续提升,不靠人类示范。

原文与代码

• 原文

社区讨论

• MLST 深度访谈：AI 学习的抽象层级错了，应预测潜变量而非 Token Machine Learning Street Talk

全部论文解读