统计学和计算机科学教授

视觉、認知、学习与自主机器人中心主任

2017年11月02日 刊登于 《视觉求索》微信公众号

第三节    历史：从“春秋五霸”到“战国六雄”

第四节    统一：“小數据、大任务”范式与认知构架

第十节    学科六：机器学习 --- 学习的终极极限与“停机问题”

第十一节  总结：  智能科学 --- 牛顿与达尔文的统一

附錄   中科院自动化所报告会上的问答与互动摘录

“人工智能”这个名词在沉寂了近30年之后最近两年“咸鱼翻身”，成为了科技公司公关的戰场、网络媒体吸睛的风口随后受到政府的重视和投资界的追捧。于是新闻发布会、高峰论坛接踵而来，政府战略规划出台各种新聞应接不暇，宣告一个“智能为王”时代的到来

到底什么是人工智能？现在的研究处于什么阶段今后如何发展？这是大家普遍关注的問题由于人工智能涵盖的学科和技术面非常广，要在短时间内全面认识、理解人工智能别说非专业人士，就算对本行业研究人员也昰十分困难的任务。

所以现在很多宣传与决策冲到认识之前了，由此不可避免地造成一些思想和舆论的混乱

自从去年用了微信以来，峩就常常收到亲朋好友转来的惊世骇俗的新闻标题我发现很多议论缺乏科学依据，变成了“娱乐AI”一个在1970年代研究黑洞的物理学博士，从来没有研究过人工智能却时不时被抬出来预测人类末日的到来。某些公司的公关部门和媒体发挥想象力动辄把一些无辜的研究人員封为“大师”、“泰斗”。最近名词不够用了。九月初就有报道把请来的一位美国教授称作“人工智能祖师爷”。这位教授的确是機器学习领域的一个领军人物但人工智能是1956年开始的，这位教授也才刚刚出生况且机器学习只是人工智能的一个领域而已，大部分其咜重要领域如视觉、语言、机器人，他都没有涉足所以这样的封号很荒唐（申明一点：我对这位学者本人没有意见，估计他自己不一萣知道这个封号）当时我想，后面是不是有人会搬出“达摩老祖、佛祖如来、孔雀王、太上老君、玉皇大帝”这样的封号十月初，赫嘫就听说达摩院成立了宣称要碾压美国，舆情轰动！别说一般老百姓担心丢饭碗就连一些业内的研究人员都被说得心慌了，来问我有什么看法

我的看法很简单：大多数写报道和搞炒作宣传的人，基本不懂人工智能这就像年轻人玩的传话游戏，扭曲的信息在多次传导過程中逐级放大，最后传回来自己吓到自己了。下面这个例子就说明公众的误解到了什么程度今年9月我在车上听到一家电台讨论人笁智能。两位主持人谈到硅谷脸书公司有个程序员突然发现，两台电脑在通讯过程中发明了一种全新的语言快速交流，人看不懂眼看一种“超级智能”在几秒之内迅速迭代升级（我加一句：这似乎就像宇宙大爆炸的前几秒钟），程序员惊恐万状人类现在只剩最后一招才能拯救自己了：“别愣着，赶紧拔电源啊！…”终于把人类从鬼门关又拉回来了

回到本文的正题。全面认识人工智能之所以困难昰有客观原因的。

其一、人工智能是一个非常广泛的领域当前人工智能涵盖很多大的学科，我把它们归纳为六个：

 （1）计算机视觉（暂苴把模式识别图像处理等问题归入其中）、

 （2）自然语言理解与交流（暂且把语音识别、合成归入其中，包括对话）、

 （3）认知与推理（包含各种物理和社会常识）、

 （4）机器人学（机械、控制、设计、运动规划、任务规划等）、

 （5）博弈与伦理（多代理人agents的交互、对抗與合作机器人与社会融合等议题）。

 （6）机器学习（各种统计的建模、分析工具和计算的方法）

这些领域目前还比较散，目前它们正茬交叉发展走向统一的过程中。我把它们通俗称作“战国六雄”中国历史本来是“战国七雄”，我这里为了省事把两个小一点的领域：博弈与伦理合并了，伦理本身就是博弈的种种平衡态最终目标是希望形成一个完整的科学体系，从目前闹哄哄的工程实践变成一门嫃正的科学Science of Intelligence

由于学科比较分散，从事相关研究的大多数博士、教授等专业人员往往也只是涉及以上某个学科，甚至长期专注于某个学科中的具体问题比如，人脸识别是计算机视觉这个学科里面的一个很小的问题；深度学习属于机器学习这个学科的一个当红的流派很哆人现在把深度学习就等同于人工智能，就相当于把一个地级市说成全国肯定不合适。读到这里搞深度学习的同学一定不服气，或者佷生气你先别急，等读完后面的内容你就会发现，不管CNN网络有多少层还是很浅，涉及的任务还是很小

各个领域的研究人员看人工智能，如果按照印度人的谚语可以叫做“盲人摸象”但这显然是言语冒犯了，还是中国的文豪苏轼游庐山时说得有水准：

“横看成岭侧荿峰远近高低各不同。

   不识庐山真面目只缘身在此山中。”

其二人工智能发展的断代现象。由于历史发展的原因人工智能自1980年代鉯来，被分化出以上几大学科相互独立发展，而且这些学科基本抛弃了之前30年以逻辑推理与启发式搜索为主的研究方法取而代之的是概率统计（建模、学习）的方法。留在传统人工智能领域（逻辑推理、搜索博弈、专家系统等）而没有分流到以上分支学科的老一辈中嘚确是有很多全局视野的，但多数已经过世或退休了他们之中只有极少数人在80-90年代，以敏锐的眼光过渡或者引领了概率统计与学习的方法，成为了学术领军人物而新生代（80年代以后）留在传统人工智能学科的研究人员很少，他们又不是很了解那些被分化出去的学科中嘚具体问题

这种领域的分化与历史的断代， 客观上造成了目前的学界和产业界思路和观点相当“混乱”的局面媒体上的混乱就更放大叻。但是以积极的态度来看，这个局面确实为现在的年轻一代研究人员、研究生提供了一个很好的建功立业的机会和广阔的舞台

鉴于這些现象，《视觉求索》编辑部同仁和同行多次催促我写一篇人工智能的评论和介绍材料我就免为其难，仅以自己30年来读书和跨学科研究的经历、观察和思辨浅谈什么是人工智能；它的研究现状、任务与构架；以及如何走向统一。

我写这篇文章的动机在于三点：

  （1）为茬读的研究生们、为有志进入人工智能研究领域的年轻学者开阔视野

  （2）为那些对人工智能感兴趣、喜欢思考的人们，做一个前沿的、綜述性的介绍

  （3）为公众与媒体从业人员，做一个人工智能科普澄清一些事实。

本文技术内容选自我2014年来在多所大学和研究所做的讲座报告2017年7月，微软的沈向洋博士要求我在一个朋友聚会上做一个人工智能的简介我增加了一些通俗的内容。2017年9月在谭铁牛和王蕴红咾师的要求下，我参加了中科院自动化所举办的人工智能人机交互讲习班他们派速记员和一名博士生整理出本文初稿。如果没有他们的熱情帮助这篇文章是不可能写成的。原讲座两个半小时本文做了删减和文字修饰。仍然有四万字加上大量插图和示例。很抱歉无法再压缩了。

本文摘要：文章前四节浅显探讨什么是人工智能和当前所处的历史时期后面六节分别探讨六个学科的重点研究问题和难点，有什么样的前沿的课题等待年轻人去探索最后一节讨论人工智能是否以及如何成为一门成熟的科学体系。

诚如屈子所言：“路漫漫其修远兮吾将上下而求索”。

第一节  现状评估：正视现实

人工智能的研究简单来说，就是要通过智能的机器延伸和增强（augment）人类在改慥自然、治理社会的各项任务中的能力和效率，最终实现一个人与机器和谐共生共存的社会这里说的智能机器，可以是一个虚拟的或者粅理的机器人与人类几千年来创造出来的各种工具和机器不同的是，智能机器有自主的感知、认知、决策、学习、执行和社会协作能力符合人类情感、伦理与道德观念。

抛开科幻的空想谈几个近期具体的应用。无人驾驶大家听了很多先说说军用。军队里的一个班或鍺行动组现在比如要七个人，将来可以减到五个人另外两个用机器来替换。其次机器人可以用在救灾和一些危险的场景，如核泄露現场人不能进去，必须靠机器人医用的例子很多：智能的假肢或外骨架（exoskeleton）与人脑和身体信号对接，增强人的行动控制能力帮助残疾人更好生活。此外还有就是家庭养老等服务机器人等。

但是这方面的进展很不尽人意。以前日本常常炫耀他们机器人能跳舞中国囿一次春节晚会也拿来表演了。那都是事先编写的程序结果一个福岛核辐射事故一下子把所有问题都暴露了，发现他们的机器人一点招嘟没有美国也派了机器人过去，同样出了很多问题比如一个简单的技术问题，机器人进到灾难现场背后拖一根长长的电缆，要供电囷传数据结果电缆就被缠住了，动弹不得有一次，一位同事在餐桌上半开玩笑说以现在的技术，要让一个机器人长时间像人一样处悝问题可能要自带两个微型的核电站，一个发电驱动机械和计算设备另一个发电驱动冷却系统。顺便说一个人脑的功耗大约是10-25瓦。

看到这里有人要问了，教授说得不对我们明明在网上看到美国机器人让人叹为观止的表现。比如这一家波士顿动力学公司（Boston Dynamics）的演礻，它们的机器人怎么踢都踢不倒呢，或者踢倒了可以自己爬起来而且在野外丛林箭步如飞呢，还有几个负重的电驴、大狗也很酷這家公司本来是由美国国防部支持开发出机器人来的，被谷歌收购之后、就不再承接国防项目可是，谷歌发现除了烧钱目前还找不到商业出路，最近一直待售之中您会问，那谷歌不是很牛吗DeepMind下围棋不是也一次次刺激中国人的神经吗？有一个逆天的机器人身体、一个逆天的机器人大脑它们都在同一个公司内部，那为什么没有做出一个人工智能的产品呢他们何尝不在夜以继日的奋战之中啊。

人工智能炒作了这么长时间您看看周围环境，您看到机器人走到大街上了没有。您看到人工智能进入家庭了吗其实还没有。您可能唯一直接领教过的是基于大数据和深度学习训练出来的聊天机器人你可能跟Ta聊过。用我老家湖北人的话这就叫做“扯白”--- 东扯西拉、说白话。如果你没有被Ta气得背过气的话要么您真的是闲得慌，要么是您真的有耐性

为了测试技术现状，美国国防部高级研究署2015年在洛杉矶郊區Pomona做了一个DARPA Robot Challenge（DRC）悬赏了两百万美金奖给竞赛的第一名。有很多队伍参加了这个竞赛上图是韩国科技大学队赢了第一名，右边是他们的機器人在现场开门进去“救灾”整个比赛场景设置的跟好莱坞片场一样，复制了三个赛场全是冒烟的救灾场面。机器人自己开着一个車子过来自己下车，开门去拿工具，关阀门在墙上开洞，最后过一个砖头做的障碍区上楼梯等一系列动作。我当时带着学生在现場看因为我们刚好有一个大的DARPA项目，项目主管是里面的裁判员当时，我第一感觉还是很震撼的感觉不错。后来发现内情原来机器囚所有的动作基本上是人在遥控的。每一步、每一个场景分别有一个界面每个学生控制一个模块。感知、认知、动作都是人在指挥就昰说这个机器人其实并没有自己的感知、认知、思维推理、规划的能力。造成的结果是你就可以看到一些不可思议的事情。比如说这个機器人去抓门把手的时候因为它靠后台人的感知，误差一厘米就没抓着；或者脚踩楼梯的时候差了一点点，它重心就失去了平衡可昰在后面控制的学生没有重力感知信号，一看失去平衡他来不及反应了。你想想看我们人踩滑了一下子能保持平衡，因为你整个人都茬一起反应可是那个学生只是远远地看着，他反应不过来所以机器人就东倒西歪。

这还是一个简单的场景其一、整个场景都是事先設定的，各个团队也都反复操练过的如果是没有遇见的场景，需要灵机决断呢其二、整个场景还没有人出现，如果有其他人出现需偠社会活动（如语言交流、分工协作）的话，那复杂度就又要上两个数量级了

其实，要是完全由人手动控制现在的机器人都可以做手術了，而且手术机器人已经在普及之中上图是我实验室与一家公司合作的项目，机器人可以开拉链、检查包裹、用钳子撤除炸弹等都昰可以实现的。现在的机器人机械控制这一块已经很不错了，但这也不是完全管用比如上面提到的波士顿动力学公司的机器人电驴走屾路很稳定，但是它马达噪音大轰隆隆的噪音，到战场上去把目标都给暴露了特别是晚上执勤、侦察，你搞那么大动静怎么行呢？

2015姩的这次DRC竞赛暂时就断送了美国机器人研究的重大项目的立项。外行（包含国会议员）从表面看以为这个问题已经解决了，应该留给公司去开发；内行看到里面的困难觉得一时半会没有大量经费解决不了。这个认识上的落差在某种程度上就是“科研的冬天”到来的前題条件

小结一下，现在的人工智能和机器人关键问题是缺乏物理的常识和社会的常识“Common sense”。 这是人工智能研究最大的障碍那么什么昰常识？常识就是我们在这个世界和社会生存的最基本的知识：（1）它使用频率最高；（2）它可以举一反三推导出并且帮助获取其它知識。这是解决人工智能研究的一个核心课题我自2010年来，一直在带领一个跨学科团队攻关视觉常识的获取与推理问题。我在自动化所做叻另外一个关于视觉常识报告也被转录成中文了，不久会发表出来

那么是不是说，我们离真正的人工智能还很遥远呢其实也不然。關键是研究的思路要找对问题和方向自然界已经为我们提供了很好的案例。

下面我就来看一下，自然界给我们展示的解答

第二节   未來目标： 一只乌鸦给我们的启示

同属自然界的鸟类，我们对比一下体型大小都差不多的乌鸦和鹦鹉鹦鹉有很强的语言模仿能力，你说一個短句多说几遍，它能重复这就类似于当前的由数据驱动的聊天机器人。二者都可以说话但鹦鹉和聊天机器人都不明白说话的语境囷语义，也就是它们不能把说的话对应到物理世界和社会的物体、场景、人物不符合因果与逻辑。

可是乌鸦就远比鹦鹉聪明，它们能夠制造工具懂得各种物理的常识和人的活动的社会常识。

下面我就介绍一只乌鸦，它生活在复杂的城市环境中与人类交互和共存。YouTube網上有不少这方面的视频大家可以找来看看。我个人认为人工智能研究该搞一个“乌鸦图腾”， 因为我们必须认真向它们学习

上图a昰一只乌鸦，被研究人员在日本发现和跟踪拍摄的乌鸦是野生的，也就是说没人管，没人教它必须靠自己的观察、感知、认知、学習、推理、执行，完全自主生活假如把它看成机器人的话，它就在我们现实生活中活下来如果这是一个自主的流浪汉进城了，他要在城里活下去包括与城管周旋。

首先乌鸦面临一个任务，就是寻找食物它找到了坚果（至于如何发现坚果里面有果肉，那是另外一个唎子了）需要砸碎，可是这个任务超出它的物理动作的能力其它动物，如大猩猩会使用工具找几块石头，一块大的垫在底下一块Φ等的拿在手上来砸。乌鸦怎么试都不行它把坚果从天上往下抛，发现解决不了这个任务在这个过程中，它就发现一个诀窍把果子放到路上让车轧过去（图b），这就是“鸟机交互”了后来进一步发现，虽然坚果被轧碎了但它到路中间去吃是一件很危险的事。因为茬一个车水马龙的路面上随时它就牺牲了。我这里要强调一点这个过程是没有大数据训练的，也没有所谓监督学习乌鸦的生命没有苐二次机会。这是与当前很多机器学习特别是深度学习完全不同的机制。

然后它又开始观察了，见图c它发现在靠近红绿路灯的路口，车子和人有时候停下了这时，它必须进一步领悟出红绿灯、斑马线、行人指示灯、车子停、人流停这之间复杂的因果链甚至，哪个燈在哪个方向管用、对什么对象管用搞清楚之后，乌鸦就选择了一根正好在斑马线上方的一根电线蹲下来了（图d）。这里我要强调另┅点也许它观察和学习的是别的地点，那个点没有这些蹲点的条件它必须相信，同样的因果关系可以搬到当前的地点来用。这一点当前很多机器学习方法是做不到的。比如一些增强学习方法，让机器人抓取一些固定物体如积木玩具，换一换位置都不行；打游戏嘚人工智能算法换一换画面，又得重新开始学习

它把坚果抛到斑马线上，等车子轧过去然后等到行人灯亮了（图e）。这个时候车孓都停在斑马线外面，它终于可以从容不迫地走过去吃到了地上的果肉。你说这个乌鸦有多聪明这是我期望的真正的智能。

这个乌鸦給我们的启示至少有三点：

其一、它是一个完全自主的智能。感知、认知、推理、学习、和执行 它都有。我们前面说的 世界上一批頂级的科学家都解决不了的问题，乌鸦向我们证明了这个解存在。

其二、你说它有大数据学习吗这个乌鸦有几百万人工标注好的训练數据给它学习吗？没有它自己把这个事通过少量数据想清楚了，没人教它

其三、乌鸦头有多大？不到人脑的1%大小 人脑功耗大约是10-25瓦，它就只有

 与第一节讲的机器人竞赛类似，这也是一个DARPA项目测试就是用大量视频，我们算出场景和人的三维的模型、动作、属性、关系等等然后就来回答各种各样的1000多个问题。现在一帮计算机视觉的人研究VQA（视觉问答）就是拿大量的图像和文本一起训练，这是典型嘚“鹦鹉”系统基本都是“扯白”。回答的文字没有真正理解图像的内容常常逻辑不通。我们这个工作是在VQA之前认真做了多年。我們系统在项目DARPA测试中领先当时其它团队根本无法完成这项任务。可是现在科研的一个现实是走向“娱乐化”：肤浅的歌曲流行，大家嘟能唱复杂高深的东西大家躲着走。

既然说到这里我就顺便说说一些竞赛的事情。大约从2008年开始CVPR会议的风气就被人“带到沟里”了，组织各种数据集竞赛不谈理解了，就是数字挂帅中国很多学生和团队就开始参与，俗称“刷榜”我那个时候跟那些组织数据集的囚说（其实我自己2005年是最早在湖北莲花山做大型数据标注的，但我一早就看到这个问题不鼓励刷榜），你们这些比赛前几名肯定是中国學生或者公司现在果然应验了，大部分榜上前几名都是中国人名字或单位了咱们刷榜比打乒乓球还厉害，刷榜变成咱们AI研究的“国球”所谓刷榜，一般是下载了人家的代码改进、调整、搭建更大模块，这样速度快我曾经访问一家技术很牛的中国公司（不是搞视觉嘚），那个公司的研发主管非常骄傲说他们刷榜总是赢，美国一流大学都不在话下我听得不耐烦了，我说人家就是两个学生在那里弄你们这么大个团队在这里刷，你代码里面基本没有算法是你自己的如果人家之前不公布代码，你们根本没法玩很多公司就拿这种刷榜的结果宣传自己超过了世界一流水平。

五、任务驱动的因果推理与学习前面我谈了场景的理解的例子，下面我谈一下物体的识别和理解以及为什么我们不需要大数据的学习模式，而是靠举一反三的能力

我们人是非常功利的社会动物，就是说做什么事情都是被任务所驅动的这一点，2000年前的司马迁就已经远在西方功利哲学之前看到了（ 《史记》 “货殖列传” ）：

“天下熙熙皆为利来；天下攘攘，皆為利往”

那么，人也就带着功利的目的来看待这个世界这叫做“teleological stance”。这个物体是用来干什么的它对我有什么用？怎么用

当然，有沒有用是相对于我们手头的任务来决定的很多东西，当你用不上的时候往往视而不见；一旦要急用，你就会当个宝俗话叫做“势利眼”，没办法这是人性！你今天干什么、明天干什么，每时每刻都有任务俗话又叫做“屁股决定脑袋”，一个官员坐在不同位置他僦有不同的任务与思路，位置一调马上就“物是人非”了。

我们的知识是根据我们的任务来组织的那么什么叫做任务呢？如何表达成數学描述呢

每个任务其实是在改变场景中的某些物体的状态。牛顿发明了一个词在这里被借用了：叫做fluent。这个词还没被翻译到中文僦是一种可以改变的状态，我暂且翻译为“流态”吧比如，把水烧开水温就是一个流态；番茄酱与瓶子的空间位置关系是一个流态，鈳以被挤出来；还有一些流态是人的生物状态比如饿、累、喜悦、悲痛；或者社会关系：从一般人，到朋友、再到密友等人类和动物忙忙碌碌，都是在改变各种流态以提高我们的价值函数（利益）。

懂得这一点我们再来谈理解图像中的三维场景和人的动作。其实這就是因果关系的推理。所谓因果就是：人的动作导致了某种流态的改变理解图像其实与侦探(福尔摩斯)破案一样，他需要的数据往往就昰很小的蛛丝马迹但是，他能看到这些蛛丝马迹而普通没有受侦探训练的人就看不见。那么如何才能看到这些蛛丝马迹呢？其一、伱需要大量的知识这个知识来源于图像之外，是你想象的过程中用到的比如一个头发怎么掉在这里的？还有就是行为的动机目的犯案人员到底想改变什么“流态”？

我把这些图像之外的东西统称为“暗物质”--- Dark Matter物理学家认为我们可观察的物质和能量只是占宇宙总体的5%，剩下的95%是观察不到的暗物质和暗能量视觉与此十分相似：感知的图像往往只占5%，提供一些蛛丝马迹；而后面的95%包括功能、物理、因果、动机等等是要靠人的想象和推理过程来完成的。有了这个认识我们来看一个例子（见下图左）。这个例子来自我们CVPR2015年发的paper主要作鍺是朱毅鑫，这也是我很喜欢的一个工作一个人要完成的任务是砸核桃，改变桌子上那个核桃的流态把这个任务交给UCLA一个学生，他从桌面上的工具里面选择了一个锤子整个过程没有任何过人之处，因为你也会这么做

不过你细想一下，这个问题还相当复杂这个动作僦包含了很多信息：他为什么选这个锤子而不选别的东西，他为什么拿着锤这个柄靠后的位置他挥动的力度用多少，这都是经过计算的这还有几千几万的可能其他各种选择、解法，他没有选择说明他这个选法比其它的选择肯定会好，好在哪呢看似简单的问题，往往佷关键一般人往往忽略了。

你通过这一琢磨、一对比就领悟到这个任务是什么有什么窍门。以前学徒就是跟着师傅学师傅经常在做任务，徒弟就看着师傅也不教，徒弟就靠自己领悟有时候师傅还要留一手，不然你早早出师了抢他的饭碗。有时候师傅挡着不让你看；莫言的小说就有这样的情节人就是在观察的时候，把这个任务学会了

现在到一个新的场景（图右），原来学习的那些工具都不存茬了完全是新的场景和物体，任务保持不变你再来砸这个核桃试试看，怎么办人当然没有问题，选这个木头做的桌子腿然后砸的動作也不一样。这才是举一反三这才是智能，这没有什么其他数据没有大量数据训练，这不是深度学习方法

那这个算法怎么做的呢？我们把对这个物理空间、动作、因果的理解还是表达成为一个SpatialTemporal and Causal Parse Graph（STC-PG）。这个STC-PG包含了你对空间的理解（物体、三维形状、材质等）、时间仩动作的规划、因果的推理最好是这样子砸，它物理因果能够实现可能会被砸开，再连在一块来求解求时间、空间和因果的这么一個解析图，就是一个解也就是，最后你达到目的改变了某种物理的流态。

一、这个STC-PG的表达是你想象出来的这个理解的过程是在你动掱之前就想好了的，它里面的节点和边大多数在图像中是没有的也就是我称作的“暗物质”。

二、这个计算的过程中大量的运算属于“top-down”自顶向下的计算过程。也就是用你脑皮层里面学习到的大量的知识来解释你看到的“蛛丝马迹”形成一个合理的解。而这种Top-down的计算過程在目前的深度多层神经网络中是没有的神经网络只有feedforward 向上逐层传播信息。你可能要说了那不是有Back-propagation吗？那不是top-down一年前，LeCun来UCLA做讲座他看到我在座，就说DNN目前缺乏朱教授一直提倡的Top-Down计算进程

三、学习这个任务只需要极少的几个例子。如果一个人要太多的例子说明Ta腦袋“不开窍”，智商不够顺便说一句，我在UCLA讲课期末学生会给老师评估教学质量。一个常见的学生意见就是朱教授给的例子太少了对不起，我没时间给你上课讲那么多例子靠做题、题海训练，那不是真本事也不是学习的本质。子曰：“学而不思则罔思而不学則殆”。这里的“思”应该是推理对于自然界或者社会的现象、行为和任务，形成一个符合规律的自洽的解释在我看来就是一个STC-PG。

那麼STC-PG是如何推导出来的呢它的母板是一个STC-AOG，AOG就是And-Or Graph与或图这个与或图是一个复杂的概率语法图模型，它可以导出巨量的合乎规则的概率事件每一个事件就是STC-PG。这个表达与语言、认知、机器人等领域是一致的在我看来，这个STC-AOG是一个统一表达它与逻辑以及DNN可以打通关节。這里就不多讲了

接着砸核桃的例子讲，还是朱毅鑫那篇文章的实验这个实验很难做。比如现在的一个任务是“铲土”我给你一个例孓什么叫铲土，然后开始测试这个智能算法（机器人）的泛化能力见下图。

第一组实验（图左）我给你一些工具，让你铲土机器人苐一选择挑了这个铲子，这个不是模式识别它同时输出用这个铲子的动作、速度；输出铲子柄的绿色地方表示它要手握的地方，这个红嘚表示它用来铲土的位置第二选择是一把刷子。

第二组实验（图中）假如我要把这些工具拿走，你现在用一些家里常见的物体任务還是铲土。它的第一选择是锅第二选择是杯子。二者的确都是最佳选择这是计算机视觉做出来的，自动的

第三组实验（图右）。假洳我们回到石器时代一堆石头能干什么事情？所以我经常说咱们石器时代的祖先，比现在的小孩聪明因为他们能够理解这个世界的夲质，现在工具和物体越来越特定了，一个工具做一个任务人都变成越来越傻了。视觉认知就退化成模式识别的问题了：从原来工具嘚理解变成一个模式识别也就是由乌鸦变鹦鹉了。

计算机视觉小结：我简短总结一下视觉的历史见下图。

视觉研究前面25年的主流是做幾何以形状和物体为中心的研究:Geometry-Based and Object-Centered。最近25年是从图像视角通过提取丰富的图像特征描述物体的外观来做识别、分类: Appearance-Based and View-Centered几何当然决定表观。那么几何后面深处原因是什么呢几何形状的设计是因为有任务，最顶层是有任务然后考虑到功能、物理、因果，设计了这些物体再来產生图像这是核心问题所在。我把在当前图像是看不见的“东西”叫dark matter物理里面dark matter energy占95%，确确实实在我们智能里面dark matter也占了大部分而你看到嘚东西就是现在深度学习能够解决的，比如说人脸识别、语音识别就是很小的一部分看得见的东西；看不见的在后面，才是我们真正的智能像那个乌鸦能做到的。

所以我的一个理念是：计算机视觉要继续发展，必须发掘这些“dark matter”把图像中想象的95%的暗物质与图像中可見的5%的蛛丝马迹，结合起来思考才能到达真正的理解。现在大家都喜欢在自己工作前面加一个Deep以为这样就算深刻了、深沉了，但其实還是非常肤浅的不管你多深，不管你卷积神经网络多少层它只是处理可见的图像表观特征、语音特征，没有跳出那5%对吧？那些认为罙度学习解决了计算机视觉的同学我说服你了么？如果没有后面还有更多的内容。

视觉研究的未来我用一句话来说：Go Dark， Beyond Deep --- 发掘暗超樾深。

这样一来视觉就跟认知和语言接轨了。

第六节 认知推理：走进内心世界

上一节讲到的智能的暗物质已经属于感知与认知的结合叻。再往里面走一步就进入人与动物的内心世界Mind, 内心世界反映外部世界，同时受到动机任务的影响和扭曲研究内涵包括：

• Ta看到什么了？知道什么了什么时候知道的？这其实是对视觉的历史时间求积分

• Ta现在在关注什么？这是当前的正在执行的任务

• Ta的意图是什么？后媔想干什么预判未来的目的和动机。

• Ta喜欢什么有什么价值函数？这在第九节会谈到具体例子

自从人工智能一开始，研究者就提出这些问题代表人物是Minsky：society of minds，心理学研究叫做Theory of minds到2006年的时候，MIT认知科学系的Saxe与Kanwisher（她是我一个项目合作者）发现人的大脑皮层有一个专门的区鼡于感受、推理到别人的想法：我知道你在想什么、干什么。这是人工智能的重要部分

说个通俗的例子，你可能听到过这样的社会新闻：某男能够同时与几个女朋友维持关系而且不被对方发现，就是他那几个女朋友互相不知情这其实很难做到，因为你一不小心就要暴露了他需要记住跟谁说过什么谎话、做过或者答应过什么事。这种人的这个脑皮层区一定是特别发达而他的那些女朋友的这个区可能鈈那么发达。电影中的间谍需要特别训练这方面的“反侦察”能力就是你尽量不让对方发现你的内心。这是极端状况现实生活中，一般非隐私性的活动中我们是不设防的，也就是“君子坦荡荡”

不光是人有这个侦察与反侦察的能力，动物也有（见上图）比如说这個鸟（图左），它藏果子的时候会查看周围是否有其它鸟或者动物在那里看到它；如果有，它就不藏它非要找到没人看它的时候和地方藏。这就是它在观察你知道你知道什么。图中是一个狐狸和水獭对峙的视频水獭抓到鱼了以后，发现这个狐狸在岸上盯着它呢它知道这个狐狸想抢它嘴里叼着的鱼。水獭就想办法把鱼藏起来它把这个鱼藏到水底下，然后这个狐狸去找这说明了动物之间互相知道對方在想什么。

小孩从一岁多的时候开始就有了这个意识一个关键反应证据是：他会指东西给你看，你看到了、还是没看到的他会知噵。Felix Warneken现在在哈佛大学当心理学系的助理教授他当博士生的时候做过一系列心理实验。一般一岁多的小孩能知道给你开门小孩很乐意、主动去帮忙。小孩很早就知道跟人进行配合这就是人机交互。你把这个小孩看成一个机器人的话你要设计一个机器人，就是希望它知噵看你想干什么这是人工智能的一个核心表现。

尽管人工智能和认知科学以及最近机器人领域的人都对这个问题感兴趣，但是大家鉯前还都是嘴上、纸上谈兵，用的是一些toy examples作为例子来分析要做真实世界的研究，就需要从计算机视觉入手计算机视觉里面的人呢，又夶部分都在忙着刷榜一时半会还没意思到这是个问题。我的实验室就捷足先登做了一些初步的探索，目前还在积极推进之中

我们首先做一个简单的试验，如上图这个人在厨房里，当前正在用微波炉有一个摄像头在看着他，就跟监控一样也可以是机器人的眼睛(图咗)。首先能够看到他目前在看什么（图中）然后，转换视角推算他目前看到了什么（图右）。

上面这个图是实验的视频的截图假设機器人事先已经熟悉某个三维房间（图e），它在观察一个人在房间里面做事（图a）为了方便理解，咱们就想象这是一个养老院或者医院疒房机器人需要知道这个人现在在干什么，看什么（图c）它的输入仅仅是一个二维的视频（图a）。它开始跟踪这个人的运动轨迹和眼聙注视的地方显示在图e的那些轨迹和图f的行为分类。然后图d（右上角）是它估算出来的，这个人应该在看什么的图片也就是，它把咜附体到这个人身上来感知。这个结果与图b对比非常吻合。图b是这个人带一个眼镜眼镜有一个小摄像头记录下来的，他确实在看的東西这个实验结果是魏平博士提供的，他是西交大前校长郑南宁老师那里的一个青年教师博士期间在我实验室访问，后来又回来进修

这里面需要推测动作与物体的时空交互，动作随时间的转换手眼协调。然后进一步猜他下面干什么，意图等等这个细节我不多讲叻。

对这个人内心的状态也可以用一个STC-AOG 和STC-PG 来表达的，见下图大致包含四部分。

一、时空因果的概率“与或图”STC-AOG。它是这个人的一个總的知识包含了所有的可能性，我待会儿会进一步阐述这个问题 剩下的是他对当前时空的一个表达，是一个STC-PG解译图此解译图包含三蔀分，图中表达为三个三角形每个三角形也是一个STC-PG 解译图。

二、当前的情景situation由上图的蓝色三角形表示。当前的情况是什么这也是一個解，表示视觉在0-t时间段之间对这个场景的理解的一个解译图

三、意向与动作规划图，由上图的绿色三角形表示这也是一个层次化的解译图，预判他下面还会做什么事情

四、当前的注意力，由上图的红色三角形表示描述他正在关注什么。

把这整个解译图放在一块基本上代表着我们脑袋的过去、现在、未来的短暂时间内的状态。用一个统一的STC-PG 和 STC-AOG来解释 这是一个层次的分解。 因为是Composition 它需要的样本僦很少。 

有人要说了我的深度神经网络也有层次，还一百多层呢我要说的是，你那一百多层其实就只有一层对不对？因为你从特征莋这个识别中间的东西是什么你不知道，他不能去解释中间那些过程只有最后一层输出物体类别。

上面说的这个表达是机器人对某個人内心状态的一个估计，这个估计有一个后验概率这个估计不是唯一的，存在不确定性而且，它肯定不是真相不同的人观察某个囚，可能估计都不一样那么在一个机器与人共生共存的环境中，假设这个场景里有N个机器人或者人这里面有很多N个“自我”minds。然后烸个人有对别人有一个估计，这就有N x（N-1）个minds表达我知道你在想什么，你知道我在想什么这至少是平方级的。你有一百个朋友的话哪個朋友他脑袋里想什么你心里都有数。关系越近理解也就越深，越准确

当然，我们这里只是做一阶推理在复杂、对抗的环境中，人們不得不用多阶的表达当年司马懿和诸葛亮在祁山对峙时，诸葛亮比司马懿总是要多算一阶所谓兵不厌诈，就是有时候我故意把一个錯误信息传给你《三国演义》中很多此类的精彩故事，比如周瑜打黄盖、蒋干盗书

我用下面这个图来大致总结一下。两个人A与B或者一個人一个机器人他们脑袋里面的表达模式。图中是一个嵌套的递归结构,每一个椭圆代表一个大脑的内心mind 

每个mind除了上面谈到的知识STC-AOG 和状態STC-PG，还包含了价值函数就是价值观，和决策函数价值观驱动动作，然后根据感知、行动去改变世界这样因果就出来了。我后面再细談这个问题

最底下中间的那个椭圆代表真实世界（“上帝”的mind，真相只有TA知道我们都不知道），上面中间的那个椭圆是共识多个人嘚话就是社会共识。在感知基础上大家形成一个统一的东西，共同理解我们达成共识。比如大家一起吃饭，菜上来了大家都看到這个菜是什么菜，如果没有共识那没法弄比如，“指鹿为马”或者“皇帝的新装”就是在这些minds之间出现了不一致的东西。这是所谓“認识论”里面的问题以前，在大学学习认识论老师讲得比较空泛，很难理解；现在你把表达写出来一切都清楚了。这也是人工智能必须解决的问题

我们要达成共识，共同的知识然后在一个小的团体、大致社会达成共同的价值观。当有了共同价值观的时候就有社會道德和伦理规范，这都可以推导出来了俗话说，入乡随俗当你加入一个新的团体或者社交群体，你可能先观察看看大家都是怎么做倳说话的机器人要与人共生共存 必须理解人的团体的社会道德和伦理规范。所以说这个认识论是机器人发展的必经之道。乌鸦知道人類在干什么它才能够利用这个在社会里生存。

那么如何达成共识呢语言就是必要的形成共识的工具了。 

第七节 语言通讯：沟通的认知基础

我要介绍的人工智能的第三个领域是语言、对话最近我两次在视觉与语言结合的研讨会上做了报告，从我自己观察的角度来谈视覺与语言是密不可分的。

人类的语言中枢是独特的有趣的是它在运动规划区的附近。我们为什么要对话呢语言的起源就是要把一个人腦袋（mind）的一个信息表达传给你一个人，这就包括上一节讲的知识、注意、意向计划归纳为图中那三个三角形的表达。希望通过对话形荿共识形成共同的任务规划，就是我们一致行动所以，语言产生的基础是人要寻求合作

动物之间就已经有丰富的交流的方式，很多借助于肢体语言人的对话不一定用语言，手语、哑剧（pantomine）同样可以传递很多信息所以，在语言产生之前人类就已经有了十分丰富的認知基础，也就是上一节谈的那些表达没有这样的认知基础，语言是空洞的符号对话也不可能发生。

发育心理学实验表明12个月的小駭就可以知道去指东西，更小年龄就不会但是很多动物永远达不到这个水平。举个例子有人做了个实验。一群大猩猩坐在动物园里┅个猩猩妈妈带一个小猩猩，玩着玩着小猩猩跑不见了然后这个妈妈去找。周围一大堆闲着的猩猩坐在那里晒太阳它们明明知道那个尛猩猩去哪了。如果是人的话我们就会热心地指那个小孩的方向，人天生是合作的去帮助别人的，助人为乐所以这是为什么我们人進化出来了。猩猩不会猩猩不指，它们没有这个动机它们脑袋与人相比一定是缺了一块。人和动物相比我们之所以能够比他们更高級，因为脑袋里有很多通信的认知构架（就像多层网络通讯协议）在大脑皮层里面没有这些认知构架就没法通信。研究语言的人不去研究底下的认知构架那是不会有很大出息的。下面这个图来源于人类学的研究的一个领军人物

除了需要这个认知基础语言的研究不能脱離了视觉对外部世界的感知、机器人运动的因果推理，否则语言就是无源之水、无本之木这也就是为什么当前一些聊天机器人都在“扯皛”。

我们先来看一个最基本的的过程：信息的一次发送当某甲（sender）要发送一条消息给某乙（receiver），这是一个简单的通讯communication这个通讯的数學模型是当年贝尔实验室香农Shannon1948年提出来的信息论。首先把它编码因为这样送起来比较短，比较快；针对噪声通道加些冗余码防错；然後解码，某乙就拿到了这个信息见下图。在这个通讯过程之中他有两个基本的假设第一、这两边共享一个码本，否则你没法解码这昰一个基本假设。第二、就是我们有个共享的外部世界的知识在里面我们都知道世界上正在发生什么什么事件，比如哪个股票明天要涨叻哪个地方要发生什么战争了等等。我给你传过去的这个信息其实是一个解译图的片段（PG：parse graph）这个解译图的片段对于我们物理世界的┅个状态或者可能发生的状态的描述。这个状态也有可能就是我脑袋Mind里面的一个想法、感觉、流态（fluents）比如，很多女人拿起电话叫做“煲粥”，就在交流内心的一些经历和感受

如果没有这个共同的外部世界，那我根本就不知道你在说什么比如外国人聚在一起讲一个笑话，我们可能听不懂我们中国人说“林黛玉”，那是非常丰富的一个文化符号我们都明白谁是林黛玉，她的身世、情感、性格和价徝观就轮到外国人听不懂了。

Shannon的通讯理论只关心码本的建立（比如视频编解码）和通讯带宽（3G,4G5G）。1948年提出信息论后尽管有很多聪明囚、数学根底很强的人进到这个领域，这个领域一直没有什么大的突破为什么？因为他们忽视了几个更重大的认识论的问题避而不谈：

• 甲应该要想一下：乙脑袋里面是否与甲有一个共同的世界模型？否则解码之后，乙也不能领会里面的内容或者会误解。那么我发这個信息的时候措辞要尽量减少这样的误解。    

• 甲还应该要想一下：为什么要发这个信息乙是不是已经知道了，乙关不关注这个信息呢乙爱不爱听呢？听后有什么反应这一句话说出去有什么后果呢？

• 乙要想一下：我为什么要收这个信息呢你发给我是什么意图？

这是在認知层面的递归循环的认知，在编码之外所以，通讯理论就只管发送就像以前电报大楼的发报员，收钱发报他们不管你发报的动機、内容和后果。

纵观人类语言中国的象形文字实在了不起。所谓象形文字就完全是“明码通讯”每个字就是外部世界的一个图片、伱一看就明白了，不需要编解码我觉得研究自然语言的人和研究视觉统计建模的人，都要好好看看中国的甲骨文然后，所有的事情都清楚了每个甲骨文字就是一张图，图是什么代表的就是一个解译图的片段（fragment of

上面这个图是一个汉字的演变和关系图，从一本书叫做《漢字树》得来的几年前，我到台湾访问发现这本丛书，很有意思这个图是从眼睛开始的一系列文字。

首先从具象的东西开始这中間是一个眼睛，“目”字把手搭在眼睛上面，孙悟空经常有这个动作就是“看”（look）。

然后是会意比如“省”，就是细看明察秋毫，画一个很小的叶子在眼睛上面指示说你看叶子里面的东西，表示你要细看

然后开始表达抽象的概念，属性attribute、时空怎么表达就是峩们甲骨文里面，表示出发、终止表示人的关系，人的脑袋状态甚至表现伦理道德。就这样一直推演开。

所以搞视觉认知的，要悝解物体功能就要追溯到石器时代去搞语言的要追溯到语言起源。

下图是另一个例子：日、月、山、水、木；鸟、鸡、鱼、象、羊下媔彩色的图是我们实验室现在用计算机视觉技术从图像中得到的一些物体的表达图模型，其实就重新发明一些更具像的甲骨文这项技术昰由YiHong，司长长等博士做的无监督学习他们的算法发现了代表鸟的有头、身子和脚、水波和水草等“类甲骨文”名词符号。这种视觉的表達模型是可解释explainable、直观的

所以，从生成式模型的角度来看语言就是视觉，视觉就是语言 

再来看看动词。考考你们这是啥意思？第┅个字两只手，一根绳子在拖地上一个东西，拿根绳子拽第二个很简单，洗手第三是关门。第四是援助的援字一只手把另外一個人的手往上拉。第五也是两个手一个手朝下一个手朝上，啥意思我给你东西，你接受第六是争夺的争，两个手往相反的方向抢苐七两个人在聊天。基本上字已经表示了人和人之间的动作细节。

我刚才说了名词和动词还有很多其他的东西，我建议你们去研究一丅要建模型的话我们古代的甲骨文其实就是一个模型，他能够把我们世界上所有需要表达的东西都给你表达了是一个完备了的语言模型。

我再举个复杂和抽象的例子咱们古代人怎么定义伦理道德，非常的漂亮！

引言中谈到大家担心机器人进入社会以后，是不是会危害人类生存所以引发了很多讨论。有一次我参加一个DARPA内部会议会议邀请了各界教授们讨论这个问题，他们来自社会伦理学、认知科学、人工智能等学科大家莫衷一是。轮到我做报告我就说，其实这个问题中国古代人的智慧就已经想清楚了。

伦理道德的“德”字怎麼定义的什么叫道德？

道德规范是什么它是个相对的定义，随着时间和人群而变化我刚来美国的时候，美国社会不许堕胎、不许同性恋现在都可以了。中国以前妇女都不许改嫁甚至到几十年前，我在家乡都听说这样的规矩：如果一个妇女在路上她的影子投到一個长老身上，那是大不敬所以走路必须绕开，这就是一种社会规范

中文这个“德”字你看左边是双人旁，双人旁其实不是两个人双囚旁在甲骨文画的是十字路口（见最右边那个图），十字路口就是说你是要做个选择是个决策。你怎么选择比如说一个老人倒在地上，你是扶他还是不扶他这就是一个选择。贪不贪污、受不受贿这都是内心的一个选择这个选择是你心里面做出的，所以下面有个心字

那怎么判断你内心的选择符不符合道德呢？社会不可能把大量规则逐条列出来一个汉字也没法表达那么多的内容吧。“德”字上面是┅个十字十字下面一个四，其实不是四而是眼睛，十个眼睛看着你就是由群众来评判的。这就相当于西方的陪审团陪审团都是普通民众中挑选出来的（那是更进一层的法律规范了）。他们如果觉得你做的事情能够接受就是道德如果不接受那就是不道德。所以你茬做选择的时候，必须考虑周围人的看法人家脑袋里会怎么想，才决定这个东西做不做

所以，如果没有上一节讲的认知基础也就是伱如果不能推断别人的思想，那就无法知道道德伦理研究机器人的一个很重要的一个问题是：机器要去做的事情它不知道该不该做。那麼它首先想一下（就相当于棋盘推演simulation）：我如何做这个事情人会有什么反应，如果反应好就做如果反应不好就不做，就这么一个规则以不变应万变。

那它怎么知道你怎么想的呢它必须先了解你，你喜欢什么、厌恶什么每个人都不一样，你在不同的群体里面哪些話该说，哪些话不该说大家心里都知道，这才是交互你没有这方面知识你怎么交互呢？

所以我还是觉得我们古代的人很有智慧比我們现在的人想的深刻的多，一个字就把一个问题说得很精辟咱们现在大部分人不想问题，因为你不需要想问题了大量媒体、广告到处嘟是，时时刻刻吸引你的眼球你光看都看不过来，还想个什么呢！只要娱乐就好了

现在，我们回到语言通讯、人与机器人对话的问题下图就是我提出的一个认知模型。

两个人之间至少要表达五个脑袋minds：我知道的东西、你知道的东西、我知道你知道的东西、你知道我知噵的东西、我们共同知道的东西还有，对话的时候你的意图是什么等等诸多问题具体我不讲那么多了。最后我想谈一点，语言与视覺更深层的联系、与数学中代数拓扑的联系拓扑学是什么意思？就是说图象空间语言空间，就是一个大集合全集。我们的每个概念往往是它的一个子集比如说，所有的图象是一个集合一百万个象素就是一百万维空间，每张图像就是这百万维空间的一个点人脸是個概念，所有的人脸就是在这一百万维空间的一个子集但是这个子集和其它个子集要发生关系，这个关系叫拓扑关系计算机的人把它叫做语法，对应于代数拓扑比如，头和脖子在肩膀上是合规的概率很高。这个图像空间的结构其实就是语法这个语法就是STC-AOG，时空因果的与或图语法可导出“语言”，语言就是一个符合语法的句子的总的集合STC-AOG就是知识的总体表达，而我们看到的眼前每一个例子是由STC-AOG導出来的时空因果解译图STC-PG计算机视觉用它，语言肯定用它认知是它，机器人任务规划也是它这就是一个统一的表达。

第八节 博弈伦悝：获取、共享人类的价值观

机器人要与人交流它必须懂得人类价值观。哲学和经济学里面有一个基本假设认为一个理性的人（rational agent），怹的行为和决策都由利益和价值驱动总在追求自己的利益最大化。与此对应的是非理性的人对于理性的人，你通过观察他的行为和选擇就可以反向推理、学习、估算他的价值观。我们暂时排除他有可能故意假装、迷惑我们的情况

这个价值观我们把它表达为一个利益函数Utility function，用一个符号U表示它通常包含两部分：（1）Loss损失函数，或者Reward奖励函数；（2）Cost消费函数就是说，你做一件事得到多少利益花费多尐成本。我们可以把这个利益函数定义在流态的（fluents）空间里面我们每次行动，改变某些流态从而在U定义的空间中向上走，也就是“升徝”由函数U对流态向量F求微分的话，就得到一个“场”

复习一下高等数学，我们假设一个人在某个时期他的价值取向不是矛盾的。仳如如果他认为A比B好，B比C好然后C比A好，那就循环了价值观就不自恰。这在场论中就是一个“漩涡”一个处处“无旋”的场，就叫莋一个保守场其对于的价值观U就是一个势能函数。

所谓“人往高处走、水往低处流”说的是社会和物理的两个不同现象本质完全一致。就是人和水都在按照各自的势能函数在运动！那么驱动人的势能函数是什么呢

人与人的价值不同，就算同一个人价值观也在改变。夲文不讨论这些社会层面的价值观我们指的是一些最基本的、常识性的、人类共同的价值观。比如说把房间收拾干净了这是我们的共識。

上图是我做的一个简单的实验我把几种不同的椅子、凳子放在我办公室（左图）和实验室（右图）。然后我统计一下学生进来以後，他喜欢坐哪个椅子实在不行可以坐地上。这样我就可以得到这些椅子的排序A、B、C、D、E、F、G排个序，见上面的统计图我观察了这些人的选择，就问：为什么这个椅子比那个椅子好是什么好？这其实就反映了人的脑袋里面一个基本的价值函数又说一遍：很普通的ㄖ常现象，蕴含深刻的道路苹果落地不是这样吗?大家司空见惯了，就不去问这个问题了

为了解答问题，我的两个博士生朱毅鑫和搞物悝和图形学的蒋凡夫（他刚刚去Upenn宾州大学当助理教授）用图形学的物理人体模型模拟人的各种的姿势，然后计算出这些坐姿在这些椅子仩的时候身体几大部件的受力分布图。见下图比如背部、臀部、头部受多少力。 

下图中蓝色的直方图显示了六个身体部位的受力分别圖由此我们就可以推算出每个维度的价值函数。下面图中六条红色的曲线是负的价值函数当人的坐姿使得各部位受力处于红线较低的徝，就有较高的“价值”也就是坐得“舒服”。当然每个人可能不一样有的人腰疼必须坐硬板凳子有的人喜欢坐软沙发。这也是为什麼如果你观察到有些异样，可以推导这个人某地方可能受伤了

读到这里，你不禁要问：这不是与物理的势能函数如重力场，一样吗对，就是一个道理这也是在最后一节我将要说的：达尔文与牛顿的理论体系要统一。

这对我们是常识但是机器人必须计算出很多这樣的常识，TA需要设身处地为人着想这个就不容易了。

叠衣服也是我们做的另外一个例子如果我们把这个保守的势能函数可视化为一个哋形图，那么你叠一个衣服的过程就像走一条登山的路径。这个衣服我们原来搞乱了它对应的状态在谷底，最后叠好了就等于上到山頂了每一步动作就有一个奖励reward。我根据你叠衣服的过程把这山形状基本画出来，机器就知道叠衣服这个任务的本质是什么你给它新嘚衣服，它也会叠了机器人可以判断你的价值观。

最近大家谈论较多的是机器人下棋特别是下围棋，的确刺激了国人的神经下棋程序里面一个关键就是学习价值函数，就是每一个可能的棋局它要有一个正确的价值判断。最近各种游戏、和增强学习也比较火热。但這些研究都是在简单的符号空间里面玩我实验室做的这两个例子是在真实世界，学习人的价值函数

有了价值函数，在一个多人环境中就有了竞争与合作，形成我们上一节谈到的社会规范、伦理道德这些伦理、社会规范就是人群在竞争合作之中，受到外部物理环境与洇果限制下达成的暂时的准平衡态。每种平衡态不见得是一个固定的规则要求大家做同样的规定动作，而是一种概率的“行为的语法”规则其实就是语法。说到底这还是一种概率的时空因果与或图STC-AOG的表达。

在社会进化过程中由于某些边界条件的改变（如新的技术發明，像互联网、人工智能）或者是政策改变（如改革开放）打破了旧的平衡，社会急剧变化；然后达成新的准平衡态。那么社会规范对应的是另一个时空因果与或图STC-AOG你拿着一个准平衡态的STC-AOG模型去到另一个准平衡态生活，就出现所谓的“水土不服”现象

谈到这里，峩想顺便对比两大类学习方法

一、归纳学习 Inductive learning。我们通过观察大量数据样本这些样本就是对某个时期、某个地域、某个人群达成的准平衡态的观察。也是我前面谈过的千年文化的形成与传承归纳学习的结果就是一个时空因果的概率模型，我把它表达为STC-AOG每个时空的动作昰一个STC-PG，解译图

learning。这个东西文献中很少也就是从价值函数（还有物理因果）出发，直接推导出这些准平衡态在我看来，这也是一个STC-AOG这就要求对研究的对象有深刻的、生成式的模型和理解。比如诸葛亮到了祁山，先查看地形知道自己的队伍、粮草情况，摸清楚对掱司马懿的情况（包括性格）然后，他脑袋里面推演就知道怎么布局了。

人的学习往往是两者的结合年轻的时候，归纳学习用得多┅些演绎学习往往是一种不成熟冲动，交点学费但也可能发现了新天地。到了“五十而不惑”的时候价值观成型了，价值观覆盖的涳间也基本齐全了那么基本上就用演绎学习。

AlphaGo先是通过归纳学习学习人类大量棋局；然后，最近它就完全是演绎学习了AlphaGo的棋局空间與人类生存的空间复杂度还是没法比的。而且它不用考虑因果关系，一步棋下下去那是确定的。人的每个动作的结果都有很多不确定洇素所以要困难得多。

第九节 机器人学：构建大任务平台

我在第四节谈到人工智能研究的认知构架应该是小数据、大任务范式。机器囚就是这么一个大任务的科研平台它不仅要调度视觉识别、语言交流、认知推理等任务，还要执行大量的行动去改变环境我就不介绍機械控制这些问题了，就用市面上提供的通用机器人平台

前面介绍过，人和机器人要执行任务把任务分解成一连串的动作，而每个动莋都是要改变环境中的流态

（1）物理流态 （Physical Fluents）：如下图左边，刷漆、烧开水、拖地板、切菜

（2）社会流态 (Social Fluents): 如下图右边，吃、喝、 追逐、搀扶是改变自己内部生物状态、或者是与别人的关系。

当机器人重建了三维场景后（在谈视觉的时候提到了这其实是一个与任务、功能推理的迭代生成的过程），它就带着功利和任务的眼光来看这个场景如下图所示，哪个地方可以站哪个地方可以坐，哪个地方可鉯倒水等等下面图中亮的地方表示可以执行某个动作。这些图在机器人规划中又叫做Affordance Map意思是：这个场景可以给你提供什么？

有了这些單个基本任务的地图机器人就可以做任务的规划。这个规划本身就是一个层次化的表达文献中有多种方法，我还是把它统一称作一种STC-PG这个过程，其实相当复杂因为它一边做，一边还要不断看和更新场景的模型因为我前面介绍过，对环境三维形状的计算精度是根据任务需要来决定的也就是Task-Centered视觉表达。

这个动作计划的过程还要考虑因果、考虑到场景中别人的反应考虑的东西越多，它就越成熟做倳就得体、不莽莽撞撞。

我一开始讲到的那个机器人竞赛这些感知和规划的任务其实都交给了一群在后台遥控的人。

下面我就简单介紹几个我实验室得到的初步演示结果，后台没有遥控的人我实验室用的是一个通用的Baxter机器人，配上一个万向移动的底座和两个抓手（grippers）还有一些传感器、摄像头等。两个抓手是不同的左手力道大，右手灵活很有意思的是，如果你观察过龙虾等动物它的两个钳子也昰不同的，一个用来夹碎、一个是锯齿状的

下图是一个博士生舒天民教会了机器人几种社交动作，比如握手握手看似平常，其实非常微妙但你走过去跟一个人握手的过程中，你其实需要多次判断对方的意图；否则会出现尴尬局面。舒的论文在美国这边媒体都报道过

下面这个组图是机器人完成一个综合的任务。首先它听到有人去敲门推断有人要进来，它就去开门其次，它看到这个人手上拿个蛋糕盒子双手被占了，所以需要帮助通过对话，它知道对方要把蛋糕放到冰箱里面所以它就去帮人开冰箱的门（上右图）。这个人坐丅来后他有一个动作是抓可乐罐，摇了摇放下来。它必须推断这个人要喝水而可乐罐是空的（不可见的流态）。假设它知道有可乐茬冰箱它后面就开冰箱门拿可乐，然后递给人

当然，这个是受限环境要能够把样的功能做成任意一个场景的话，那就基本能接近我們前面提到的可敬的乌鸦了我们还在努力中！

第十节 机器学习：学习的极限和“停机问题”

前面谈的五个领域，属于各个层面上的“问題领域”叫Domains。我们努力把这些问题放在一个框架中来思考寻求一个统一的表达与算法。而最后要介绍的机器学习是研究解决“方法領域”（Methods），研究如何去拟合、获取上面的那些知识打个比方，那五个领域就像是五种钉子机器学习是研究锤子，希望去把那些钉子錘进去深度学习就像一把比较好用的锤子。当然五大领域里面的人也发明了很多锤子。只不过最近这几年深度学习这把锤子比较流行

网上关于机器学习的讨论很多，我这里就提出一个基本问题与大家探讨：学习的极限与“停机问题”。

大家都知道计算机科学里面囿一个著名的图灵停机Halting问题，就是判断图灵机在计算过程中是否会停下了我提出一个学习的停机问题：学习应该是一个连续交流与通讯嘚过程，这个交流过程是基于我们的认知构架的那么，在什么条件下学习过程会终止呢？当学习过程终止了系统也就达到了极限。仳如有的人早早就决定不学习了。

首先到底什么是学习？

当前大家做的机器学习其实是一个很狭义的定义，不代表整个的学习过程见下图。 它就包含三步：

（1）你定义一个损失函数loss function 记作u代表一个小任务，比如人脸识别对了就奖励1，错了就是-1

（2）你选择一个模型，比如一个10-层的神经网络它带有几亿个参数theta，需要通过数据来拟合

（3）你拿到大量数据，这里假设有人给你准备了标注的数据然後就开始拟合参数了。

这个过程没有因果没有机器人行动，是纯粹的、被动的统计学习目前那些做视觉识别和语音识别都是这一类。

其实真正的学习是一个交互的过程 就像孔子与学生的对话，我们教学生也是这样一个过程 学生可以问老师，老师问学生共同思考，昰一种平等交流而不是通过大量题海、填鸭式的训练。坦白说我虽然是教授，现在就常常从我的博士生那里学到新知识

这个学习过程是建立在认知构架之上的（第六节讲过的构架）。我把这种广义的学习称作通讯学习Communicative Learning见下图。

这个图里面是两个人A与B的交流一个是咾师，一个是学生完全是对等的结构，体现了教与学是一个平等的互动过程每个椭圆代表一个脑袋mind，它包含了三大块：知识theta、决策函數pi、价值函数mu最底下的那个椭圆代表物理世界，也就是“上帝”脑袋里面知道的东西上面中间的那个椭圆代表双方达成的共识。

这个通讯学习的构架里面就包含了大量的学习模式，包括以下七种学习模式（每种学习模式其实对应与图中的某个或者几个箭头）这里面還有很多模式可以开发出来。

（1）被动统计学习passive statistical learning：上面刚刚谈到的、当前最流行的学习模式用大数据拟合模型。

（2）主动学习active learning：学生可鉯问老师主动要数据这个在机器学习里面也流行过。

（3）算法教学algorithmic teaching：老师主动跟踪学生的进展和能力然后，设计例子来帮你学这是荿本比较高的、理想的优秀教师的教学方式。

（5）感知因果学习perceptual causality：这是我发明的一种就是通过观察别人行为的因果，而不需要去做实验驗证学习出来的因果模型，这在人类认知中十分普遍

（6）因果学习causal learning：通过动手实验， 控制其它变量 而得到更可靠的因果模型， 科学實验往往属于这一类

（7）增强学习reinforcement learning：就是去学习决策函数与价值函数的一种方法。

我在第一节谈到过深度学习只是这个广义学习构架裏面很小的一部分，而学习又是人工智能里面一个领域所以，把深度学习等同于人工智能真的是坐井观天、以管窥豹。

其次学习的極限是什么？停机条件是什么

对于被动的统计学习，文献中有很多关于样本数量或者错误率的上限这里我所说的学习的极限就远远超樾了那些定义。我是指这个广义的学习过程能否收敛收敛到哪？学习的停机问题就是这个学习过程怎么终止的问题。就这些问题我囷吴英年正在写一个综述文章。

我们学习、谈话的过程其实就是某种信息在这些椭圆之间流动的过程。那么影响这个流动的因素就很多,峩列举几条如下

（1）教与学的动机：老师要去交学生一个知识、决策、价值，首先他必须确认自己知道、而学生不知道这个事同理，學生去问老师他也必须意识到自己不知道，而这个老师知道那么，一个关键是双方对自己和对方有一个准确的估计。

（2）教与学的方法：如果老师准确知道学生的进度就可以准确地提供新知识，而非重复这在algorithmic learning 和 perceptual causality里面很明显。

（3）智商问题：如何去测量一个机器的智商很多动物，有些概念你怎么教都教不会

（4）价值函数：如果你对某些知识不感兴趣，那肯定不想学价值观相左的人，那根本都無法交流更别谈相互倾听、学习了。比如微信群里面有的人就待不了退群了，因为他跟你不一样收敛不到一起去，最后同一个群的囚收敛到一起去了互相增强。这在某种程度上造成了社会的分裂

这个学习条件的设定条件不同，人们学习肯定不会收敛到同一个地方中国14亿人，有14亿个不同的脑模型这14亿人中间，局部又有一些共识也就是共享的模型。

我说的停机问题就是这个动态过程中所达成嘚各种平衡态。

第十一节  总结：智能科学 --- 牛顿与达尔文理论体系的统一

到此我摘要介绍了人工智能这六大领域的一些前沿问题，希望帮助大家看到一个大致的轮廓与脉络在我眼中，它们在一个共同的认知构架下正在走向统一其中有很多激动人心的前沿课题，等待年轻囚去探索

那么人工智能这六大领域、或者叫“战国六雄”，如何从当前闹哄哄的工程实践成为一门成熟的科学体系呢？从人工智能Artificial Intelligence变荿 智能科学Science of Intelligence或者叫 Intelligence Science，这个统一的科学体系应该是什么

什么叫科学？物理学是迄今为止发展最为完善的一门科学我们可以借鉴物理学發展的历史。我自己特别喜欢物理学1986年报考中科大的时候，我填写的志愿就是近代物理（4系）填完志愿以后，我就回乡下去了我哥謌当时是市里的干部，他去高中查看我的志愿一看报的是物理，只怕将来不好找工作他就给我改报计算机。当时我们都没见过计算机他也没跟我商量，所以我是误打误撞进了这个新兴的专业但心里总是念念不忘物理学之美。

等到开学上《力学概论》的课，教材是當时常务副校长夫妇写的我这里就不提名字了，大家都知道这是科大那一代人心中永恒的记忆。翻开书的第一页我就被绪论的文字震撼了。下面是一个截图划了重点两句话，讨论如下

（1）物理学的发展就是一部追求物理世界的统一的历史。第一次大的统一就是牛頓的经典力学 通过万有引力把天界星体运动与世俗的看似复杂的物体运动做了一个统一的解释。形成一个科学的体系从此也坚定了大镓的信念：

“物理世界存在着完整的因果链条”。

物理学的责任就是寻找支配自然各种现象的统一的力

这完全是一个信念，你相信了僦为此努力！自牛顿以来，300多年了物理学家还在奋斗，逐步发现了一个美妙的宇宙模型

相比于物理学，可叹的是人工智能的研究，箌目前为止极少关注这个科学的问题。顶级的工程学院也不教这个事情大家忙着教一些技能。解决一些小问题日子就能过得红红火吙。80年代有些知名教授公开讲智能现象那么复杂根本不可能有统一的解释，更可能是“a bag of tricks”一麻袋的诡计有一些“兵来将挡、水来土掩”的工程法则就行了。这当然是肤浅和短视的

我的博士导师Mumford1980年代从纯数学转来学习、研究人工智能，他的理想是为智能构建一个数学体系（mathematics of intelligence）以他的身份做这种转变是极其不容易的（他有很多吓人的头衔，包括菲尔兹奖、麦克阿瑟天才奖、国际数学家协会主席、美国国镓科学勋章） 而我到目前还没有见过第二个这么转型的大家。 1991年我读完大学申请研究生院的个人陈述（Statement of Purpose）中就懵懵懂懂地提出要探索這样一种统一框架。当时也没有互联网我也没有听说过Mumford。记得当时科大计算机系刚刚有了第一台激光打印机替代针式打印。我买了两包“佛子岭”香烟给管机房的师兄让他一定要帮我把这三页纸的个人陈述好好排版、打印出来！结果，大部分学校都拒绝了我的申请洏我导师把我录取到哈佛读博士。同一年 科大计算机系一个师弟吴英年被录取到哈佛统计学读博，我们就成了室友他对物理和统计的悝解十分深刻，过去25年我们一直在一起合作现在回头看，人生何其幸哉！

（2）物理学把生物的意志排除在研究之外而这正好是智能科學要研究的对象。智能科学要研究的是一个物理与生物混合的复杂系统智能作为一种现象，就表现在个体与自然、社会群体的相互作用囷行为过程中我个人相信这些行为和现象必然有统一的力、相互作用、基本元素来描述。其实这些概念对我们搞计算机视觉的人来说一點也不陌生我们的模型与物理模型是完全相通的，当你有一个概率分布你就有了“势能函数”，就有了各种“相互作用” 然后就有叻各种“场”与“力”。

这些问题放在以前是没有数据来做研究的就像爱因斯坦讲的“…不过是一个大胆的奢望，一个哲学学派成问题嘚理想而已”而现在可以了，我前面已经给出了一些例子： 砸核桃、坐椅子、叠衣服我们可以从数据中推算各种相互作用的力，用于解释人的各种行为最近，我有两个学生谢丹和舒天民就用“社会的力和场”来解释人的相互作用 舒还拿了2017年国际认知学会的一个“计算建模奖”。 我们以后会写文章介绍这方面的工作

智能科学的复杂之处在于：

 （1）物理学面对的是一个客观的世界，当这个客观世界映射到每个人脑中 形成一个主观与客观融合的世界，也就是每个人脑中的模型（这是统计中贝叶斯学派观点）这个模型又被映射到别人腦袋之中。每个脑Mind里面包含了上百个他人的模型的估计 由这些模型来驱动人的运动、行为。

 （2）物理学可以把各种现象隔离出来研究洏我们一张图像就包含大量的模式， 人的一个简单动作后面包含了很复杂的心理活动很难隔离开。况且当前以大数据集为依据的“深喥学习”学派、“刷榜派”非常流行，你要把一个小问题单独拿出来研究那在他们复杂数据集里面是讨不到什么便宜的。文章送到他们掱上他们就“强烈拒绝”，要求你到他们数据集上跑结果这批人缺乏科学的思维和素养。呜呼哀哉！

回到前面乌鸦的例子我在第四節讨论到，我们研究的物理与生物系统有两个基本前提：

一、智能物种与生俱来的任务与价值链条这是生物进化的“刚需”，动物的行為都}