围棋人工智能基本原理及其意义

　　人工智能（Artificial Intelligence，AI）主要研究人类思

　　维、行动中那些尚未算法化的功能行为， 使机器像人的大

　　脑一样思考、行动。长期以来， 围棋作为一种智力博弈游

　　戏， 以其变化莫测的博弈局面， 高度体现了人类的智慧， 为

　　人工智能研究提供了一个很好的测试平台， 围棋人工智能

　　也是人工智能领域的一个重要挑战。

　　传统的计算机下棋程序的基本原理， 是通过有限步数

　　的搜索树， 即采用数学和逻辑推理方法， 把每一种可能的

　　路径都走一遍， 从中选举出最优路径， 使得棋局胜算最大。

　　这种下棋思路是充分发挥计算机运算速度快、运算量大等

　　优势的“暴力搜索法”， 是人类在对弈规定的时间限制内无

　　法做到的。但是由于围棋局面数量太大， 这样的运算量对

　　于计算机来讲也是相当之大， 目前的计算机硬件无法在对

　　弈规定的时间内， 使用计算机占绝对优势的“暴力搜索法”

　　完成围棋所有局面的择优， 所以这样的下棋思路不适用于

　　围棋对弈。

　　搜索量巨大的问题一直困扰着围棋人工智能， 使其发

　　展停滞不前，直到2 0 0 6 年， 蒙特卡罗树搜索的应用出现，

　　才使得围棋人工智能进入了崭新的阶段， 现代围棋人工智

　　能的主要算法是基于蒙特卡洛树的优化搜索。

　　2 围棋人工智能基本原理

　　目前围棋人工智能最杰出的代表， 是由谷歌旗下人工

　　智能公司DeepMind创造的AlphaGo围棋人工智能系统。它

　　在与人类顶级围棋棋手的对弈中充分发挥了其搜索和计

　　算的优势， 几乎在围棋界立于不败之地。

　　Alph a G o系统的基本原理是将深度强化学习方法与蒙

　　特卡洛树搜索结合， 使用有监督学习策略网络和价值网

　　络， 极大减少了搜索空间， 即在搜索过程中的计算量， 提高

　　了对棋局估计的准确度。

　　2.1 深度强化学习方法

　　深度学习源于人工神经网络的研究， 人类大量的视觉

　　听觉信号的感知处理都是下意识的， 是基于大脑皮层神经

　　网络的学习方法， 通过模拟大脑皮层推断分析数据的复杂

　　层状网络结构， 使用包含复杂结构或由多重非线性变换构

　　成的多个处理层对数据进行高层抽象， 其过程类似于人们

　　识别物体标注图片。现如今， 应用最广泛的深度学习模型

　　包括： 卷积神经网络、深度置信网络、堆栈自编码网络和递

　　归神经网络等。

　　强化学习源于动物学习、参数扰动自适应控制等理

　　论， 通过模拟生物对环境以试错的方式进行交互达到对环

　　境的最优适应的方式， 通过不断地反复试验， 将变化无常

　　的动态情况与对应动作相匹配。强化学习系统设置状态、

　　动作、状态转移概率和奖赏四个部分， 在当前状态下根据

　　策略选择动作， 执行该过程并以当前转移概率转移到下一

　　状态， 同时接收环境反馈回来的奖赏， 最终通过调整策略

　　来最大化累积奖赏。

　　深度学习具有较强的感知能力， 但缺乏一定的决策能

　　力； 强化学习具有决策能力， 同样对感知问题无能为力。深

　　度强化学习方法是将具有感知能力的深度学习和具有决

　　策能力的强化学习结合起来， 优势互补， 用深度学习进行

　　感知， 从环境中获取目标观测信息， 提供当前环境下的状

　　态信息； 然后用强化学习进行决策， 将当前状态映射到相

　　应动作， 基于初期汇报评判动作价值。

　　深度强化学习为复杂系统的感知决策问题提供了一

　　种全新的解决思路。

　　2.2 蒙特卡洛树搜索

　　蒙特卡洛树搜索是将蒙特卡洛方法与树搜索相结合

　　形成的一种搜索方法。所谓蒙特卡洛方法是一种以概率统

　　计理论为指导的强化学习方法， 它通常解决某些随机事件

　　出现的概率问题， 或者是某随机变量的期望值等数字特征

　　问题。通过与环境的交互， 从所采集的样本中学习， 获得关

　　于决策过程的状态、动作和奖赏的大量数据， 最后计算出

　　累积奖赏的平均值。

　　蒙特卡洛树搜索算法是一种用于解决完美信息博弈

　　（perfect information games，没有任何信息被隐藏的游戏）

　　的方法，主要包含选择（Selection）、扩展（Expansion）、模拟