& & & 现在深度学习在机器学习领域是一个很热的概念，不过经过各种媒体的转载播报，这个概念也逐渐变得有些神话的感觉：例如，人们可能认为，深度学习是一种能够模拟出人脑的神经结构的机器学习方式，从而能够让计算机具有人一样的智慧；而这样一种技术在将来无疑是前景无限的。那么深度学习本质上又是一种什么样的技术呢？
深度学习是什么
& & & 深度学习是机器学习领域中对模式（声音、图像等等）进行建模的一种方法，它也是一种基于统计的概率模型。在对各种模式进行建模之后，便可以对各种模式进行识别了，例如待建模的模式是声音的话，那么这种识别便可以理解为语音识别。而类比来理解，如果说将机器学习算法类比为排序算法，那么深度学习算法便是众多排序算法当中的一种（例如冒泡排序），这种算法在某些应用场景中，会具有一定的优势。
深度学习的“深度”体现在哪里
& & & 论及深度学习中的“深度”一词，人们从感性上可能会认为，深度学习相对于传统的机器学习算法，能够做更多的事情，是一种更为“高深”的算法。而事实可能并非我们想象的那样，因为从算法输入输出的角度考虑，深度学习算法与传统的有监督机器学习算法的输入输出都是类似的，无论是最简单的Logistic Regression，还是到后来的SVM、boosting等算法，它们能够做的事情都是类似的。正如无论使用什么样的排序算法，它们的输入和预期的输出都是类似的，区别在于各种算法在不同环境下的性能不同。
& & & 那么深度学习的“深度”本质上又指的是什么呢？深度学习的学名又叫深层神经网络（Deep Neural Networks ），是从很久以前的人工神经网络（Artificial Neural Networks）模型发展而来。这种模型一般采用计算机科学中的图模型来直观的表达，而深度学习的“深度”便指的是图模型的层数以及每一层的节点数量，相对于之前的神经网络而言，有了很大程度的提升。
& & & 深度学习也有许多种不同的实现形式，根据解决问题、应用领域甚至论文作者取名创意的不同，它也有不同的名字：例如卷积神经网络（Convolutional Neural Networks）、深度置信网络（Deep Belief Networks）、受限玻尔兹曼机（Restricted Boltzmann Machines）、深度玻尔兹曼机（Deep&Boltzmann Machines）、递归自动编码器（Recursive Autoencoders）、深度表达（Deep Representation）等等。不过究其本质来讲，都是类似的深度神经网络模型。
& & & 既然深度学习这样一种神经网络模型在以前就出现过了，为什么在经历过一次没落之后，到现在又重新进入人们的视线当中了呢？这是因为在十几年前的硬件条件下，对高层次多节点神经网络的建模，时间复杂度（可能以年为单位）几乎是无法接受的。在很多应用当中，实际用到的是一些深度较浅的网络，虽然这种模型在这些应用当中，取得了非常好的效果（甚至是the state of art），但由于这种时间上的不可接受性，限制了其在实际应用的推广。而到了现在，计算机硬件的水平与之前已经不能同日而语，因此神经网络这样一种模型便又进入了人们的视线当中。
2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”（DNN，Deep Neural Networks）
从Google Brain这个项目中我们可以看到，神经网络这种模型对于计算量的要求是极其巨大的，为了保证算法实时性，需要使用大量的CPU来进行并行计算。
& & & 当然，深度学习现在备受关注的另外一个原因，当然是因为在某些场景下，这种算法模式识别的精度，超过了绝大多数目前已有的算法。而在最近，深度学习的提出者修改了其实现代码的Bug之后，这种模型识别精度又有了很大的提升。这些因素共同引起了深层神经网络模型，或者说深度学习这样一个概念的新的热潮。
深度学习的优点
为了进行某种模式的识别，通常的做法首先是以某种方式，提取这个模式中的特征。这个特征的提取方式有时候是人工设计或指定的，有时候是在给定相对较多数据的前提下，由计算机自己总结出来的。深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。而目前以深度学习为核心的某些机器学习应用，在满足特定条件的应用场景下，已经达到了超越现有算法的识别或分类性能。
深度学习的缺点
深度学习虽然能够自动的学习模式的特征，并可以达到很好的识别精度，但这种算法工作的前提是，使用者能够提供“相当大”量级的数据。也就是说在只能提供有限数据量的应用场景下，深度学习算法便不能够对数据的规律进行无偏差的估计了，因此在识别效果上可能不如一些已有的简单算法。另外，由于深度学习中，图模型的复杂化导致了这个算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧以及更好更多的硬件支持。所以，目前也只有一些经济实力比较强大的科研机构或企业，才能够用深度学习算法，来做一些比较前沿而又实用的应用。
本文转载自：
欢迎加入我爱机器学习QQ11群：
微信扫一扫，关注我爱机器学习公众号
欢迎加入我爱机器学习QQ11群：
最新文章列表
NIPS 2016 — Day 1 Highlights NIPS 2016 — Day 2 Highlights:...
2017年四月 &(62)
2017年三月 &(54)
2017年二月 &(48)
2017年一月 &(54)
2016年十二月 &(62)
2016年十一月 &(97)
2016年十月 &(97)
2016年九月 &(124)
2016年八月 &(83)
2016年七月 &(13)
2016年六月 &(10)
2016年五月 &(6)
2016年四月 &(9)
2016年三月 &(7)
2016年二月 &(2)
2016年一月 &(3)
2015年十二月 &(5)
2015年十一月 &(4)
2015年十月 &(2)
2015年九月 &(2)
2015年八月 &(3)
2015年七月 &(6)
2015年六月 &(8)
2015年五月 &(4)
2015年四月 &(1)
2015年三月 &(3)
2015年二月 &(1)
2015年一月 &(2)
2014年十二月 &(4)
2014年十一月 &(2)
2014年十月 &(3)
2014年九月 &(4)
2014年八月 &(22)
2014年七月 &(40)
2014年六月 &(61)
2014年五月 &(63)
2014年四月 &(187)
2014年三月 &(4799)
2014年二月 &(764)
2014年一月 &(330)
2013年十二月 &(145)
2013年十一月 &(126)
2013年十月 &(216)
2013年九月 &(284)
2013年八月 &(327)
2013年七月 &(275)
2013年六月 &(315)
2013年五月 &(228)
2013年四月 &(175)
2013年三月 &(186)
2013年二月 &(118)
2013年一月 &(210)
2012年十二月 &(221)
2012年十一月 &(155)
2012年十月 &(144)
2012年九月 &(98)
2012年八月 &(99)
2012年七月 &(109)
2012年六月 &(75)
2012年五月 &(88)
2012年四月 &(78)
2012年三月 &(78)
2012年二月 &(50)
2012年一月 &(17)
2011年十二月 &(27)
2011年十一月 &(6)
2011年十月 &(11)
2011年九月 &(13)
2011年八月 &(13)
2011年七月 &(19)
2011年六月 &(18)
2011年五月 &(6)
2011年四月 &(12)
2011年三月 &(15)
2011年二月 &(6)
2011年一月 &(9)
2010年十二月 &(6)
2010年十一月 &(11)
2010年十月 &(5)
2010年九月 &(8)
2010年八月 &(5)
2010年七月 &(12)
2010年六月 &(4)
2010年五月 &(7)
2010年四月 &(6)
2010年三月 &(12)
2010年二月 &(7)
2010年一月 &(2)
2009年十二月 &(5)
2009年十一月 &(16)
2009年十月 &(6)
2009年九月 &(7)
2009年八月 &(7)
2009年七月 &(5)
2009年六月 &(6)
2009年五月 &(6)
2009年四月 &(4)
2009年三月 &(7)
2009年二月 &(6)
2009年一月 &(1)
2008年十二月 &(4)
2008年十一月 &(5)
2008年十月 &(1)
2008年八月 &(1)
2008年七月 &(3)
2008年六月 &(3)
2008年五月 &(3)
2008年三月 &(1)
2007年十二月 &(1)
2007年十月 &(1)
2007年八月 &(4)
2007年七月 &(1)深度学习发展现状；王宇航；(北京交通大学计算机与信息技术学院，北京，100；摘要：深度学习是机器学习研究中的一个新的领域，其；行分析学习的神经网络，它模仿人脑的机制来解释数据；渐收到各界的广泛关注，其在各个尖端领域的作用也越；多领域取得客观的成就；年来深度学习在各个领域的应用及其发展．；关键字：深度学习；机器学习；人工智能；无监督学习；1引言；2011年，斯
深度学习发展现状
(北京交通大学计算机与信息技术学院，北京，100044)
摘要：深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进
行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，随着深度学习逐
渐收到各界的广泛关注，其在各个尖端领域的作用也越来越大，深度学习已经在诸
多领域取得客观的成就。本文简要介绍深度学习的基本理论及思想，着重介绍了近
年来深度学习在各个领域的应用及其发展．
关键字：深度学习；机器学习；人工智能；无监督学习
2011年，斯坦福人工智能实验室主任吴恩达领导Google的科学家们，用16000台电脑模拟了一个模拟人脑神经网络出来，并向这个网络展示了1000万段随机从YouTube上选取的视频，看看它能学会什么．结果在完全没有外界干涉的条件下，它自己识别出了猫脸．
我们要注意的是，这种机器学习与我们通常意义上说的“机器识别”有所不同．现有的很多此类识别，需要人工输入一些用于对比的数据，或者一些已经进行初步分类、打好标签的数据，机器通过学习这些数据的共同点，得出规律，然后再去将规律应用于更大规模的数据中．粗略地说，这是一种“有监督的学习”，需要人工输入初始数据，有时候还要对识别结果进行判断，由此促进机器的学习速度．
而深度学习是一种“无监督的学习”．它基于一种学术假设：即人类对外界环境的了解过程最终可以归结为一种单一算法，而人脑的神经元可以通过这种算法，分化出识别不同物体的能力．这个识别过程甚至完全不需要外界干预．
还是以识别猫脸为例：吴恩达给神经网络输入了一个单词“cat”，这个神经网络中并没有辞典，不了解这个单词的含义．但在观看了一千万段视频，它最终确定，cat就是那种毛茸茸的小动物．这个学习过程，与一个不懂英语的人，在没任何人教他的时候，通过独立观察学会“cat”的过程几乎一致．
上述事例是深度学习发展中具有里程碑性质的事件，通过以上事件意在形象的向读者说明深度学习的基本思想．本文意在向读者介绍近年来深度学习在各个领域的应用及其发展．
2 深度学习介绍
本节简要介绍深度学习及其思想．
2.1 基本概念
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
2.2 核心思想
把学习结构看作一个网络，则深度学习的核心思路如下：
①无监督学习用于每一层网络；
②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；
③用监督学习去调整所有层
2.3 历史发展
图灵在 1950 年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。
2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。
2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生Ruslan Salakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学
习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
从2006年以来，大量的关于深度学习的论文被发表。
3 深度学习的应用现状及发展
3.1 深度学习在各个领域的应用概述
自2006 年以来，深度学习在学术界持续升温，美国，加拿大，欧洲相继成为此领域的科研重镇。2010年美国国防部先进研究项目局首次资助深度学习，参与方包括斯坦福大学、纽约大学和NEC 美国研究院等机构。
2011 年，微软语音识别采用深度学习技术降低语音识别错误率20-30%，是该领域十多年来最大的突破性进展。
2012 是深度学习研究和应用爆发的一年，深度学习被应用于著名生物制药公司a克的分子药性预测问题， 从各类分子中学习发现那些可能成为药物的分子获得世界最好效果；谷歌的Google Brain 项目用16000 个处理器的服务器集群构建了一套超过10 亿个节点的具备自主学习能力的神经网络，能自动从输入的大量数据中归纳出概念体系，图片搜索、无人驾驶汽车和Google Glass 都将会从中受益。6月，Google公司的深度学习系统在识别物体的精确度上比上一代系统提高了一倍，并且大幅度削减了Android系统语音识别系统的错误率。百度引入深度学习以后，语音识别效果的提升超过了以往业界在过去15 年里所取得的成绩。12月，微软亚洲研究院展示了中英即时口译系统，错误率仅为7%，而且发音十分顺畅。
2013年，欧洲委员会发起模仿人脑的超级计算机项目，计划历时10 年投入16 亿美元，由全球80 个机构的超过200 名研究人员共同参与，希望在理解人类大脑工作方式上取得重大进展，并推动更多能力强大的新型计算机的研发，就资助力度，项目范围，和雄心而言，该项目堪比于大型强子对撞机项目。
库兹韦尔当前的目标就是帮助计算机理解自然语言并以自然语源与用户对话，虽然库兹韦尔的目标还要很多年才能实现。他希望将深度学习算法用到解决自然语言的问题上，让计算机能够发现语言的问题，解决语言的问题。
由于计算机的高度普及，很多人可能已经固化了“搜索”的印象：面对屏幕上的一个输入框，敲入一串词语，电脑返回一堆链接，用户再逐个点开查看哪个是自己需要的内容。这是传统的搜索，其交互方式是人工提炼出关键词输入，才返回答案。所以使用搜索引擎其实是一种技术，考验的是人能否准确观察问题、恰当提炼主题词，做到这些才有可能得到自己想要的信息。这就与一切搜索引擎“公平地为每个人提供信息”的初衷相悖了。
但当我们要教会从没接触过电脑的父母这一搜索过程时，就发现它与人类天生的本能并不相同：父母们往往会指着一株不知名的植物，问电脑是否能告诉我们这是什么；他们也并不习惯键入文字内容，甚至不会输入法，他们更希望对着电脑说一句“明天什么天气”就能得到答案。
2013年初，百度建立了深度学习研究院。百度多媒体业务负责人用一个叫“明星脸搜索”的产品演示了人脸搜索能力。改产品的功能是实验对象实时拍一张照片，百度可以搜索出这张照片最像哪个明星。令人惊奇的是，在百度作为参考列出的互联网图片搜索照片中出现的第一张图片就是此次实验对象10年前拍的一张照片。也就是说，在没有任何其他条件限定的前提下，百度根据一个现实场景，找到了一个确定的人。
深度学习的技术配合上大数据的储备，语音搜索、图像搜索等新兴技术就不再仅仅是技术的噱头，而是将搜索用户从数亿拓展到数十亿。这也是Google、苹果和百度纷纷在语音搜索上推出新产品的原因。
另外值得一提的是，在今年国际机器学习大会ICML2013中，Andrew的学生仅用价值2万美元的GPU集群，就做到了与引言中提到的Google曾经用约100万美元做的猫脸识别软件相同的准确率。
3.3 深度学习在语音识别方面的应用
2011 年，微软语音识别采用深度学习技术降低语音识别错误率20-30%，是该领域十多年来最大的突破性进展。
日，微软宣布已经研发出一种新型语音识别技术，可提供“接近即时”的语音至文本的转换服务，比目前的语音识别技术快两倍，同时，准确率提高了15%。该技术模仿人类大脑对沟通的理解方式，微软希望利用这个技术在语音识别领域保持领先。
深度神经网络技术能够像人类大脑一样工作，该技术将会取代谷歌等竞争对手在搜索和安卓产品中常用的声学技术。微软希望使用这项新技术以便在必应搜索引擎中提供速度更快和更准确的通讯。这种新技术已经在Windows Phone设备上进行测试。
在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。 国内方面，科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。
深度学习已经是计算机科学发展的大势所趋。2011年，吴恩达在谷歌内部领导建立了Google Brain项目，最近几个月，谷歌在深度学习领域的投入明显加大，收购了加拿大多伦多大学教授杰弗里?辛顿创建的人工智能机构。中国搜索巨头百度也建立了深度学习实验室，誓要在深度学习领域投入大量资源。
与此同时，日本的工程师开始构建控制机器人的人工神经网络，南非神经科学家亨利?马克曼正与来自欧盟和以色列的科学家们合作，希望能利用数千次实验得到的数据在一台超级计算机中模拟出人脑。
3.5 深度学习目前主要瓶颈
研究的困难仍在于我们无法完全掌握人类大脑的工作原理，但科学家目前在这方面进展飞速。中国的科学家正在研究一个新的大脑图谱，他们将之命名为“脑网络穹顶”项目。在美国，随着奥巴马政府宣布将支持筹建一项跨学科的科研项目“基于神经科学技术创新的人脑研究”，许多类似的项目正雨后春笋般得涌现，“大神经网络时代”已经到来。
BRAIN项目的目标之一，是为绘制大脑复杂回路图开出所需的新技术，种种迹象表明，BRAIN的工作重心就是人工智能。美国国防部研究部门称，希望 BRAIN项目能够“催生新的信息处理架构或者计算方法”。
如果我们能够搞清楚人类大脑成千上万的神经元如何互相连结以及中枢神经系统存储和处理信息的原理，那么像吴恩达这样的工程师对于“人工大脑”的设想就能够更加清晰，对于人脑的研究成果和数据将能购帮助深度学习算法的研究，也能加速诸如计算机“视觉”、语言分析，以及苹果和谷歌等公司为智能手机提供的语音识别等技术的发展。
引用加州大学伯克利分校计算神经科学家布鲁诺?奥尔斯豪森的一句话――我们要学习生物生存使用的技巧，问题的关键在于生物将秘密隐藏得太深了，我们还没有掌握这些秘密所需要的工具。
由深度学习引爆的科技革命，将会催生出多个领域的变革和跨越式发展。首先，深度学习作为核心信息技术，将本质上提升各类信息服务的质量，大幅提升自然语言、图片、声音识别和语言翻译等方面的准确率，可以预见未来的信息服务尤其是互联网信息服务的竞争，将聚焦于深度学习引发的数据智能，能否应用好深度学习将会对信息企业乃至国家的信息安全产生深远影响。另外，由深度学习带来的各项突破，包括计算机视觉发展推动了下一代智能汽车的不断完善，以及应用于蛋白质分析等生物和医药领域并取得重要成果，都预示着深度学习不仅成为新一代信息科学研究的主流方法，更逐渐演变为一项核心通用技术和基础技术，对于物联网、智能设备、自动驾驶汽车、生物制药、金融和经济调控等多领域具有非常
三亿文库包含各类专业文献、高等教育、幼儿教育、小学教育、应用写作文书、行业资料、生活休闲娱乐、文学作品欣赏、中学教育、深度学习发展现状81等内容。　
　2006 年前后, CIFAR (加拿大高级研究院)把一些研究者聚集在一起, 人们对深度...当句子是来自 大量的真实文本并且个别的微规则不可靠的情况下,学习 单词向量也... 　浅谈“深度学习”的有效策略_教学案例/设计_教学研究_教育专区。浅谈“深度学习”的有效策略湖北省广水市长岭镇中心小学 杨明权 在我们的教学中,我们更多的是关注... 　深度学习的研究_文学研究_人文社科_专业资料。深度学习的研究 姓名:21321 班级:...简而言之,在大数据情况下,也许只有比较复杂的模型,或者说表达能力 强的模型,... 　深度学习的研究_小学作文_小学教育_教育专区。深度学习的研究 姓名:21321 班级:...简而言之,在大数据情况下,也 许只有比较复杂的模型, 或者说表达能力强的模型,... 　和学校自主编印的《学生 深度学习能力培养的研究文献综述》等课题相关的理论,让教师了解目前国内外有关深度 学习的研究现状、成果和学校学生深度学习能力研究的动态与... 　深度学习的研究 1、定义和背景: 1.1 深度学习(DL)有各种相近的定义或者高...浅层结构 的局限性在于有限的样本和计算单元情况下对复杂函数的表示能力有限, ... 　促进深度学习的课堂教学策略研究 2015 年 04 月 20 日 15:23 来源:《课程 ...从课堂学习 的现状来看,和传统的死记硬背、机械训练的学习相比,“自主、合作、... 　深度学习学期计划 一、研究要点 1、进一步学习有关读写结合的教育教学理论,与学生的学习实际情况结合,不断丰富和 拓展研究方式方法。 2、推进研究课向常态课转化的... 　除了以上三个比较成熟知名的项目,还有很多有特色的深度学习开源框架也值得关注: Brainstorm。来自瑞士人工智能实验室 IDSIA 的一个非常发展前景很不错的深度学习 软件...一页纸说清楚“什么是深度学习？
按：【数字智能三篇】
目前“大数据”、“推荐系统”、“深度学习”是数字智能领域的热点研究方向，相关的书籍也很火热，比如“大数据”仅这两年就出版了很多本，让一般人看的眼花缭乱。
本系列共分三篇，力求仅以一页纸的篇幅来系统完整地介绍以上这三个方向，深入浅出。以下内容摘自2014年新出版的：&
－－－－－－－－－－－－－－－－－－－－－－－
深度学习：像人脑一样深层次地思考
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}