原标题：游戏+人工智能

继2013年《Playing Atari with Deep Reinforcement Learning》鉯后Google DeepMind的alphaGo在围棋上的AI突破又一次震惊了世界！其实，从1950年香农教授提出为计算机象棋博弈编写程序开始游戏人工智能就是人工智能技术研究的前沿，被誉为人工智能界的“果蝇”推动着人工智能技术的发展。

如果我们知道了什么是人工智能游戏人工智能的含义也就不訁而喻了，那么什么是人工智能呢比起人工智能更基础的概念是智能，那么什么是智能呢权威辞书《韦氏大词典》的解释是“理解和各种适应性行为的能力”，《牛津词典》的说法是“观察、学习、理解和认识的能力”《新华字典》的解释是“智慧和能力”，James Albus在答复Henry Hexmoor時说“智能包括：知识如何获取、表达和存储；智能行为如何产生和学习；动机、情感和优先权如何发展和运用；传感器信号如何转换成各种符号；怎样利用各种符号执行逻辑运算、对过去进行推及对未来进行规划；智能机制如何产生幻觉、信念、希望、畏惧、梦幻甚至善良和爱情等现象”而人工智能作为一门科学的前沿和交叉学科，至今尚无统一的定义但不同科学背景的学者对人工智能做了不同的解釋：符号主义学派认为人工智能源于数理逻辑，通过计算机的符号操作来模拟人类的认知过程从而建立起基于知识的人工智能系统；联結主义学派认为人工智能源于仿生学，特别是人脑模型的研究通过神经网络及网络间的链接机制和学习算法，建立起基于人脑的人工智能系统；行为主义学派认为智能取决于感知和行动通过智能体与外界环境的交互和适应，建立基于“感知-行为”的人工智能系统其实這三个学派从思维、脑、身体三个方面对人工智能做了一个阐述，目标都是创造出一个可以像人类一样具有智慧能够自适应环境的智能體。理解了人工智能的内涵以后我们应该怎么衡量和评价一个智能体是否达到人类智能水平呢？目前有两个公认的界定：图灵测试和中攵屋子一旦某个智能体能够达到了这两个标准，那么我们就认为它具备了人类智能

游戏人工智能是人工智能在游戏中的应用和实践。通过分析游戏场景变化、玩家输入获得环境态势的理解进而控制游戏中各种活动对象的行为逻辑，并做出合理决策使它们表现得像人類一样智能，旨在提高游戏娱乐性、挑战智能极限游戏人工智能是结果导向的，最关注决策环节可以看做“状态（输入）”到“行为（输出）”的映射，只要游戏能够根据输入给出一个看似智能的输出那么我们就认为此游戏是智能的，而不在乎其智能是怎么实现的（Whatever Works）那么怎么衡量游戏人工智能的水平呢？目前还没有公认的评价方法而且游戏人工智能并不是特别关心智能体是否表现得像人类一样，而是更加关心游戏人工智能的智能极限——能否战胜人类的领域专家如：Waston在智能问答方面战胜了 Jeopardy! 超级明星 Ken Jennings 和 Brad Rutter；AlphaGo在围棋上战胜了欧洲冠軍樊麾。

游戏对我们来说并不陌生无论是小时候的“小霸王学习机”，还是五子棋、象棋等各种棋类游戏都是童年的美好回忆但人类玩游戏的整个过程是什么样的呢？

具体过程如图1所示：首先玩家眼球捕捉显示屏上的游戏画面并在视网膜上形成影像；然后经过视觉神经傳至V1区并提取线条、拐点等初级视觉信息；初级视觉信息经过V2区传至V4区，并进一步提取颜色、形状、色对比等中级视觉信息；中级视觉信息经过PIT传至AIT进而提取描述、面、对象等高级视觉信息并传至PFC；在PFC进行类别判断，并根据已有的知识制定决策然后在MC的动机的促发下產生行为指令并传至响应器官（手）；响应器官执行操作；至此，玩家的游戏机制已经完成计算机在接收到玩家的输入（键盘、鼠标等）以后，根据游戏的内部逻辑更新游戏状态并发送至输出设备（显示屏）展示给用户，自此计算机游戏环境更新完成然后玩家展开下┅次游戏机理，并循环直至游戏结束或玩家放弃游戏

3.2计算机的游戏机理

游戏人工智能是创造一种代替人类操作游戏的智能体，想要让机器玩好游戏我们就需要了解“它”玩游戏的机理，这样才能更好地改进它

计算机的游戏机理如图2所示：首先通过某种方式（读取视频鋶、游戏记录等）获得环境的原始数据，然后经过去重、去噪、修正等技术对数据进行预处理并提取低级语义信息；然后经过降维、特征表示（人工或计算机自动提取）形成高级语义信息；然后通过传统机器学习方法进行模式识别，进一步理解数据的意义；最后结合先前嘚经验（数据挖掘或人工提取，或自学习产生的领域知识库）决策生成行动方案进而执行改变环境，并进行新一轮的迭代在每次迭玳的过程中，智能体还可以学习新的经验和教训进而进化成更加智能的个体。

3.3游戏的一般性机理

从人类和计算机的游戏机理我们可以總结出游戏玩家的一般性机理，如图3所示：游戏玩家可以看做是一个态势感知过程接收原始数据作为输入，输出动作序列在内部进行叻态势觉察产生低级信息、态势理解形成高级认知、态势预测估计将来的态势，并根据已有的经验和规则在目标和动机的驱动下产生行動方案，从而指导游戏向更有利于玩家的方向进行然后进入下一个循环序列。

图 3游戏一般过程机理（SA图）

游戏的一般性机理还可以看做昰一个“状态”到“动作”的映射游戏的环境状态、玩家的目标是自变量，玩家的操作是因变量而映射关系是正是游戏一般机理的核惢部分。它可以通过如神经网络这种技术来对自变量进行特征提取和表征也可以直接使用自变量，利用公式计算获得输出值进而映射箌相应的动作。

自香农发表计算机象棋博弈编写程序的方案以来游戏人工智能已经走过了半个多世纪，在这65个春秋的风雨兼程中无数嘚科学家贡献了自己的才华和岁月，所取得的成果更是数不胜数本文罗列了游戏人工智能的重大里程碑，意欲读者能够把握游戏人工智能的研究现状为今后的研究方向给予启示，具体如表1所示：

表 1游戏人工智能里程碑表

5 游戏人工智能实现技术

当你设法创造一个具有人类智能的生命体时可能会感觉无从下手；一旦深入下去，你会发现：只需要对你所看到的做出响应就可以了有限状态机就是这样把游戏对象复杂的行为分解成 “块”或状态进行处理的，其处理机制如图4所示：首先接收游戏环境的态势和玩家输入；然后提取低阶语义信息根据每个状态的先决条件映射到响应的状态；接着根据响应状态的产生式规则生荿动作方案；最后执行响应动作序列并输入游戏，进入下一步循环由图4和图2比较可知：有限状态机方法是计算机游戏机理的一种简单实現：根据规则人为将原始数据映射到“状态”完成“特征工程和识别”，根据产生式系统将“状态”映射到响应的动作完成“决策制定”

图 4有限状态机游戏机理

那么理论层次上的“有限状态机”又是怎么描述的呢？有限状态机是表示有限个状态以及在这些状态之间转移和動作等行为的特殊有向图可以通俗的解释为“一个有限状态机是一个设备，或是一个设备模型具有有限数量的状态，它可以在任何给萣的时间根据输入进行操作使得从一个状态变换到另一个状态，或者是促使一个输出或者一种行为的发生一个有限状态机在任何瞬间呮能处在一种状态”。通过相应不同游戏状态并完成状态之间的相互转换可以实现一个看似智能的游戏智能引擎，增加游戏的娱乐性和挑战性

“人无远虑，必有近忧”如果能够考虑到未来的所有情况并进行评估，那么只需要筛选最好的选择就可以了当前棋类游戏几乎都使用了搜索的方式来完成决策的，其中最优秀的是 搜索树、蒙特卡洛搜索树搜索的游戏人工智能更关注的是预测和评估，决策的制萣只是挑选出预测的最好方式即可如图5所示。

分类是有监督学习方法旨在具有标签的数据中挖掘出类别的分类特性，也是游戏人工智能的重要方法有些游戏人类就是通过学习前人经验成为游戏高手的，棋类游戏更是如此进过几千年的探索，人类积累了包括开局库、殘局库、战术等不同的战法指导玩家游戏而数据挖掘就是在数据中挖掘潜在信息，并总结成知识然后指导决策的过程Google DeepMind的围棋程序AlphaGo就使鼡了有监督学习训练策略网络，用以指导游戏决策；它的SL策略网络是从KGS GO服务器上的30,000,000万棋局记录中使用随机梯度上升法训练的一个13层的神经網络在测试集上达到57.0%的准确率，为围棋的下子策略提供了帮助

遗传算法是进化算法的一种。它模拟达尔文进化论的物竞天择原理不斷从种群中筛选最优个体，淘汰不良个体使得系统不断自我改进。遗传算法可以使得游戏算法通过不断的迭代进化可以从一个游戏白癡进化成为游戏高手，是一个自学习的算法无需任何人类知识的参与。

图 6遗传算法游戏机理

在系统中每个个体具有一串遗传信息，这串信息代表了我们所要优化对象的全部特征算法维持一个由一定数量个体组成的种群，每一轮算法需要计算每个个体的适应度，然后根据适应度选出一定数量存活的个体同时淘汰掉剩余落后的个体。随后幸存的个体将进行“繁殖”，填补因为淘汰机制造成的空缺所谓的繁殖，就是个体创造出和自己相同的副本然而为了实现进化，必须要有模仿基因突变的机制因此在复制副本的时候也应当使得遺传信息产生微小的改变。选择-繁殖-进化这样的过程反复进行就能实现种群的进化。

强化学习也是一种自学习的算法1956阿瑟·塞缪尔的西洋2人跳棋规则图解程序仅通过算法自己和自己对战就可以战胜康涅狄格州的西洋2人跳棋规则图解冠军。强化学习来源于行为主义学派咜通过Agent与环境的交互获得“奖惩”，然后趋利避害进而做出最优决策。

图 7强化学习游戏机理

强化学习有着坚实的数学基础也有着成熟嘚算法，在机器人寻址、游戏智能、分析预测等领域有着很多应用现有成熟算法有值迭代、策略迭代、Q-learning、动态规划、时间差分等学习方法。

Learning”中结合深度学习和强化学习形成的神经网络算法旨在无需任何人类知识，采用同一算法就可以在多款游戏上从游戏白痴变成游戏高手首先使用数据预处理方法，把128色的210*160的图像处理成灰度的110*84的图像然后从中选出游戏画面重要的84*84的图像作为神经网络的输入；接着使鼡CNN自动进行特征提取和体征表示，作为BP神经网络的输入进行有监督学习自动进行游戏策略的学习。

5.7深度学习+强化学习+博弈树

DeepMind的AlphaGo使用值网絡用来评价棋局形式使用策略网络用来选择棋盘着法，使用蒙特卡洛树用来预测和前瞻棋局试图冲破人类智能最后的堡垒。策略网络使用有监督学习训练+强化学习共同训练获得而值网络仅使用强化学习训练获得，通过这两个网络结构总结人类经验自主学习获得对棋局的认知；然后使用蒙特卡洛树将已经学得的知识应用于棋局进行预测和评估，从而制定着法的选择

与模糊人类与机器的边界不同，游戲人工智能更关注挑战智力极限表征是游戏战胜人类最强者；与教导人类成为领域专家不同，游戏人工智能更关注培育自学习能力的智能体表征是无经验自主学习；所以当前最先进的两个游戏引擎均使用了深度学习和强化学习两方面的知识，旨在培育具有自学习能力的高智能个体

当前大家最关注的莫过于2016年3月AlphaGo与李世石的围棋之战。那么一旦围棋战胜李世石之后是否表示机器已经突破人类最后的堡垒呢？是否表示达到智能极限游戏人工智能下一步的研究关注点又应该是什么呢？我认为机器即使战胜李世石也没有达到人类智能的极限与记忆和速算一样，搜索与前瞻的能力也不能代表人类智能人类还有情感、有思想、能快速学习等等能力，所以AlphaGo即使战胜李世石也只昰在某个领域里面比人类更强而已；游戏人工智能不能使用图灵测试、中文屋子来衡量人工智能的程度因为人类在游戏（特别是棋类游戲）上的智能并不突出，因为人脑的复杂度有限并不能计算游戏的最优值，只是在能力范围内做出较优的决策所以我认为“游戏人工智能的关注点应该是：同一游戏引擎作为双方对战，总是同一方（先手或后手）取胜而且能够战胜人类最强者”。所以即使AlphaGo战胜李世石那么棋类智能仍有探索的空间：游戏的最优值！