神经网络（4）
深度学习，神经网络，多层神经网络，BP,卷积神经网络区别
接触神经网络不久，想弄明白“深度学习”与”多层神经网络”的区别，看了几篇博客和知乎回答，总结一下自己的认识
先提一下:BP是一种按照误差逆向传播算法训练的多层前馈神经网络。
神经网络包括了多层神经网络（可以当做普通的神经网络）和卷积神经网络等 ， 而卷积神经网络又属于深度学习中最为重要的算法。
我们这所谓的层指的神经网络的层数，但是也并不是层数多了就是深度学习，深度学习一定是层数多最起码3层以上吧！！
“深度学习”和“多层神经网络”的区别?
关于“深度学习”和“多层神经网络”的区别?
借用知乎上比较理性和感性的认识 分析一下
从广义上说深度学习的网络结构也是多层神经网络的一种。
传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。 输入层 - 卷积层 -降维层 -卷积层 - 降维层 – …. – 隐藏层 -输出层
简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是 信号-&特征-&值。 特征是由网络自己选择。
作者：杨延生
来源：知乎
作者：Bipolar Bear
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
两种网络被设计出来，所要解决的问题和目的不同。
多层神经网络与universal approximation theorem [1] （泛逼近性原理，不知这样翻译可对？）相伴而生。
该理论指出，单隐藏层（hidden layer）非线性前馈神经网络，可以在实数空间近似任何连续函数。上世纪80 90年代，Backpropagation 刚刚开始大行其道，利用这一算法，只需知道输入和输出便可训练网络参数，从而得到一个神经网络“黑箱”。之所以称为黑箱，是因为无需知道y=f(x) 中f的表达式是什么，也能轻易做函数计算，因为f（objective function）就是网络本身。多层神经网络的座右铭是：“函数是什么我不管，反正我能算！“。
当然多层神经网络并非天下无敌，它有三个主要限制：
一是在面对大数据时，需要人为提取原始数据的特征作为输入，这个问题前面的知友提到过@杨延生。必须忽略不相关的变量，同时保留有用的信息。这个尺度很难掌握，多层神经网络会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。前者是对不相关变量过于敏感，后者则因无法提取有实际意义的特征。
二是想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题@青青子衿。所谓“强弩之末势不能穿鲁缟“。
三是无法处理时间序列数据（比如音频），因为多层神经网络不含时间参数。随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译，等等。多层神经网络显然力不从心。
那么深度模型是如何解决以上三个问题的。
第一，深度学习自动选择原始数据的特征。举一个图像的例子，将像素值矩阵输入深度网络（这里指常用于图像识别的卷积神经网络CNN），网络第一层表征物体的位置、边缘、亮度等初级视觉信息。第二层将边缘整合表征物体的轮廓……之后的层会表征更加抽象的信息，如猫或狗这样的抽象概念。所有特征完全在网络中自动呈现，并非出自人工设计。更重要的一点是这种随着层的深入，从具象到抽象的层级式表征跟大脑的工作原理吻合，视网膜接收图像从LGN到视皮层、颞叶皮层再到海马走的是同样的路数[2]！
第二，深度网络的学习算法。一种方法是改变网络的组织结构，比如用卷积神经网络代替全连接（full connectivity）网络，训练算法仍依据Backpropagating gradients的基本原理。另一种则是彻底改变训练算法，我尝试过的算法有Hessian-free optimization[3]，recursive least-squares(RLS) 等。
第三，使用带反馈和时间参数的Recurrent neural network 处理时间序列数据。从某种意义上讲，Recurrent neural network可以在时间维度上展开成深度网络，可以有效处理音频信息（语音识别和自然语言处理等），或者用来模拟动力系统。
顺便提一下 强弩之末势不能穿鲁缟
：“强弩之末，势不能穿鲁缟。”这句话出自《诸葛亮传》。弩，是用机括发射箭矢的弓；鲁缟是产自山东的一种很薄的白细绢。此话是说，弩弓射出的箭，到了射程之末连细绢也穿不透。比喻强大的力量已经衰弱，起不了什么作用。 学到了！
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：16552次
排名：千里之外
原创：10篇
转载：13篇
(5)(1)(3)(2)(2)(1)(3)(4)(1)(1)
(window.slotbydup = window.slotbydup || []).push({
id: '4740881',
container: s,
size: '200,200',
display: 'inlay-fix'文档分类：
下载后只包含 1 个 DOCX 格式的文档，没有任何的图纸或源代码，
下载前请先预览，预览内容跟原文是一样的，在线预览图片经过高度压缩，下载原文更清晰。
您的浏览器不支持进度条
下载文档到电脑，查找使用更方便
还剩?页未读，继续阅读
播放器加载中，请稍候...
该用户其他文档
下载所得到的文件列表基于卷积神经网络的图像检测.docx
文档介绍：
绪论 1 第一章绪论 1.1 研究背景 1.1.1 人工神经网络的发展纵观人工神经网络的发展历史,有经历过高潮期,也有衰落的时候。上世纪四十年代, Mcculloch 和 Pitts 以他们对生物神经元的了解,提出了 MP 神经元模型。示意图如下: ....图 1-1 MP 神经元模型表 1-1 生物神经元与 MP 模型对比生物神经元神经元输入信号权值输出总和膜电位阈值 MP 模型这是第一个用数学方法描述的生物神经元的结构,从此有了人工神经网络这一概念,也开始了它的漫漫发展历程。随后, Heb b 注意到了生物的条件反射与人工神经网络的联系,并提出了 Heb b 学习规则。该学习规则包含有一个算法: 该算法表示权值的误差是和网络输入和网络输出是成正比关系的。在此之后,人们对这种算法进行优化创新,新的算法和规则纷纷涌现。到了上世纪五十年代,感知机( Perceptron )模型问世,它融合了一些现代计算机科学的原则,还有权重更新,增加偏置等一系列创新算法,使得它成为第一个完整的人工神经网络。绪论 2 1969 年,《 Perceptron 》一书出版,该书认为: 单层的感知机不能完成异或计算,并且当时的以当时的科技发展水平无法完***工神经网络所需要的大规模的运算要求。这些观点都让当时的人工神经网络研究陷入僵局,人工神经网络研究进入了第一段的发展衰落期。到了七十年代,哈佛博士生 Paul Werbos 提出了著名的反向传播算法(back — propagating), 反响不大。但后来这一算法又被自然杂志的一篇文章所提起,其激励传播、权重更新等一系列创新性的理论使得人工神经网络有重焕生机。八十年代, Hopfield 神经网络模型出现, 该模型对反向传播算法进行了更具体的实现。从 BP 算法中得到启发,对此神经网络采用负反馈流程来提高其网络稳定性;对权重更新设计了诸如外积法、伪逆法、正交设计法等一系列方法。为带反馈的人工神经网络模型算法提供了重要的公式和理论基础。随后, connectionism 网络模型与并行计算的出现, 使得人工神经网络的负反馈算法日趋成熟,但是由于负反馈网络模型所采用 BP 算法对隐含层数目过多问题有着局部最优和过拟合的缺点,人工神经网络的发展也是受到了根本性的限制。自此关于人工神经网络的研究出现了第二次发展低潮。 1.1.2 Deep Learning 对于人工神经网络的推动然而,在人工神经网络的第二次发展低潮期间,很多研究人员并没有放弃人工神经网络的研究。终于,在200 6 年的自然科学杂志上,深度学习(Deep Learning) 被提出,这篇文章关于人工神经网络的这一最新研究成果。这篇文章表明多隐含层的人工神经网络对于特征抽取具有更好的效率,并且识别效果更好;然后对每一层都初始化的话,就能减少训练的难易度。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。而深度学习中 N ,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。输入层- 卷积层-降采样层-卷积层-降采样层--.... --隐藏层- 输出层简单来说,原来多层神经网络做的步骤是:特征映射到值。特征是人工挑选。深度学习做的步骤是信号-&特征-&值。特征是由网络自己选择。因此,深度学习,就是构建一个具有多隐含层的人工神经网络模型,通过加入如卷积层和降采样层,逐层初始化从而得到有关数据集的更本质的特征, 来提高分类的准确性。深度学习和传统的浅层学习的主要区别在模型的深浅,这直接绪论 3 关系到对于图像特征的深层处理过程,与图像检测的准确性直接挂钩。目前,常见的深度学习算法包括:受限波尔兹曼机( Restricted Boltzmann Machine , RBN ), 信念神经网络( DBN ), 卷积网络( work ), 堆栈式自动编码器( Stacked Auto-encoders )。 1.1.3 卷积神经网络的研究现状 2006 年,卷积神经网络( CNN )出现。它继承了深度学习的基本思想,采用多个隐含层的神经网络模型,并运用了许多的分类数据集进行训练和测试,在当时得到了世界最好的成绩,但由计算机于硬件水平有限,计算运行速度遇到瓶颈,N 应对大型图像数据处理上乏力。后来,随着 2012 年的 10月 问题的解决, CNN 进入到了全面发展的时代,出现了一大批学者的研究成果,如人脸识别方法研究[5]、遥感图像分类方法研究[6]等。目前,N 的手写字符识别已经正式商用,随着时间的推移, 将会有更多的模型和算法被开发,卷积神经网络必将会在图像检测领域大放异彩。 CNN 主要有三个典型特征,分别是:局部感受野、权值共享和降采样。这三个特征都对于图形特征来说,在所有位置,它的规律都是一样的。所以可以采用局部的特征,然后集合起来形成全局的特征,这就是局部感受野的概念。以前所采用的全连接方式来获取图像的全部特征来说,连接数实在过大,运算量非常巨大, 科技水平无法达到这种高度,现在有了局部感受域,同一幅图像,只要选取几个区域就行了,然后合并起来的到全局特征,这样就大大减少了连接数目,运算量大幅降低,计算负荷也下降,神经网络也越灵活。上文中,在这些局部特征中,他们与上一层之间的每一个连接是需要附加权值来进行输入的,这些连接中,每个链接的权值如果是任意的,这也将会带来给计算量。假如有 1000 个局部特征连接点,则将会有 1000 个权值,到下一层的计算量将会是 00000 个,如果采用卷机神经网络的权值共享理论,即所有的连接点都采用同一个权值,计算量将会是 0 个,计算量减少了整整 1000 倍!所以,权值共享极大的减少了神经网络计算量,降低了复杂度, 使得训练和测试过程变得简单起来。在图像特征提取后的神经网络深层处理中,通过降采样,可以降低上一层的网络的分辨率,也减少了计算量,但是其本身的特性可以不受影响,这推动了神经网络的简单化。绪论 4 总之,CNN 的基本思想是把局部感受野、权值共享和下采样这三种方法结合了起来, 从而实现了特征的提取和分类统一在一起, 并对识别对象的位移变化、尺度变化、形变变化具有不变性。 1.1.4 图像识别技术的发展及研究现状图像识别,是指发现对观察到的图像进行特征分析,在用计算机对分析进行处理,从而实现对图像内容的分类识别。其中,手写数字识别和人脸识别是现今比较成熟的。手写数字识别可以被用于民族文字识别、电脑阅卷等等,人脸识别则在视频安保监控、“刷脸”支付等等有重要功能。目前,图像识别系统主要由图像分割,特征提取和分类器组成[7]。图像分割有三种方法:(1)基于阈值的分割法。这是最常用图像分割技术, 阈值一般是采用图像的灰度值。不同的灰度值在广域里面可以表现出图像的不同特征,基于灰度值的分割就可以图像的不同特征1
内容来自淘豆网转载请标明出处.
浏览：31次韩德强的再认识证明了毛泽东思想理论《人的正确思想是从哪里来的？》的正确性 打印页面 - 乌有之乡
- 有好书 有朋友 有思想 有责任
&>&&>&&>&&>&正文　
韩德强的再认识证明了毛泽东思想理论《人的正确思想是从哪里来的？》的正确性
作者:高恒&&更新时间: 17:00&&来源:乌有之乡&&责任编辑:wuhe
&&&&&&&&&韩德强的再认识证明了毛泽东思想理论《人的正确思想是从哪里来的？》的正确性 &&&&&&&通过韩德强的再认识，证明了毛泽东思想理论之一《人的正确思想是从哪里来的？》的正确性。 &&&&&我们重温毛主席的《人的正确思想是从哪里来的？》，结合韩德强的再认识，对我们进一步提高两条路线斗争觉悟，区分正确与错误的观点，识别真假马列主义毛泽东思想的捍卫者很有启发。 &&&&&&&毛主席在这篇重要论文的论述中，一开头就指出：“人的正确思想是从哪里来的？是从天上掉下来的吗？不是。是自己头脑里固有的吗？不是。人的正确思想只能从社会实践中来、只能从社会的生产斗争、阶级斗争、和科学实验这三项实践中来。”毛主席以通俗易懂的语言，阐明了人的正确思想的来源。 &&&&&&&韩德强同志就是遵循三项实践这一原则得到了重新认识，改正了力挺梁稳根的错误思想认识。韩德强同志通过斗争实践认识到了自己的错误观点及其根源。能够主动承认错误，并能进行自我批评，这一点是值得无产阶级革命派的同志们学习的。我们希望韩德强同志的认识和歉意是真诚的。也更希望所有的无产阶级革命派的同志们，能够通过斗争实践认识到自己的错误观点。并通过批评与自我批评使无产阶级革命派的同志们紧密地团结起来，以应对即将来临的风雨。 &&&&&&&西化派在广东已经蠢蠢欲动了。他们借百姓之身，假反腐败、反独裁之名拉开了反党反社会主义的序幕。广东的预演绝不是单纯的百姓的诉求，一定是有人在操纵。因为广东这几年从没有对人民心慈手软过。希望党中央和无产阶级革命派能够引起重视，防止他们利用各总手段进行突然袭击。记住76年的教训，以更好地应对事物的发展和变化。 &&&&&&1963年5月正当我国两个阶级、两条道路、两条路线激烈搏斗的时刻，我们的伟大领袖毛主席写下了《人的正确思想是从哪里来的？》这篇著名的光辉论著。在这篇著作中，毛主席从哲学的高度总结了国际国内无产阶级专政的历史经验，坚持和发展了马克思列宁主义的反映论。批判了带有资产阶级意识的假马列主义政治骗子鼓吹的唯心论的先验论和形而上学，给妄图用阶级斗争熄灭论颠覆无产阶级专政、复辟资本主义的阴谋活动分子以沉重的打击。 &&&&&&列宁在《唯物主义和经验批判主义》一文中指出：“生活、实践的观点，应该是认识论首先的和基本的观点。”按照辩证唯物论的观点，人的认识是由社会存在决定的。不是先天就有的，而是后天才有的。思想、理论、精神都是客观的矛盾运动在人们的头脑中的反映。人们认识客观事物，必须通过社会实践。随着社会实践的深入，人们的认识也由浅入深，由片面到多面，最后达到全面认识。离开对社会实践，离开对实际情况的调查研究，任凭你有多大本领，也不会得到真正的正确的认识。只有投身到革命运动的实践中去，经过反复实践、反复认识，才能取得正确的思想和比较完整的认识。 &&&&&&&我们希望真正的无产阶级革命派的同志们，应该胸怀人民而不应该是自我的名利。我们真诚的希望大家能够通过实践斗争认识到自己的不足，并认真总结经验教训，做批评与自我批评。要从实际出发，不要凭空武断的定义谁是保皇派、谁是带路党等。我们必须遵循马克思列宁主义毛泽东思想的认识论，深入三大革命的第一线，在群众中进行系统的周密的调查研究。调查研究是辩证唯物论的反映论的具体运用。不调查，不研究，只凭道听途说的一知半解和若明若暗的情况，就发议论、下判断、做决定，必然会产生唯心的阶级估量和唯心的工作指导。从”左“的或”右“的方面干扰破坏无产阶级革命事业，干扰破坏毛主义者团结统一，做出危害人民的事情，危害革命事业的发展。只有坚持三大革命实践，深入批判放任自流的私心杂念，深刻总结经验教训，真诚的做批评与自我批评，虚心接受正确意见，我们才能获得真正的思想，才能取得真正的发言权，才能做好工作，才能少犯错误。&&&&&&&&&&对任何人都不应过早地下结论。对任何人都无法保证他会永远革命或是反革命。今天的革命者，明天也许就会不革命或者反革命。今天的反革命也许哪天认识了，或许就不反革命或加入革命了。因此我们要时刻不忘斗争。用三大革命实践检验我们的同志和自己。通过斗争，去团结、去争取、去提醒、去鞭策、去激励。 &&&&&&&不管是什么人，只要你今天是站在人民一边的，我们就支持你、拥护你。你哪天不站在人民一边了，我们就批判你、打倒你、消灭你。我们希望所有人都能从新认识，勇敢地站在人民一边，反对剥削和压迫，心甘情愿的为人民服务。做人民的卫士。 &&&&&&&&&下面摘抄几段毛主席语录供大家学习。 &&&&&&&“人们在社会实践中从事各项斗争，有了丰富的经验，有成功的，又失败的。无数客观外界的现象通过人的眼、耳、鼻、舌、身这五个器官能反映到自己的头脑中来，开始是感性认识。这种感性认识的材料积累多了，就会产生一个飞跃，变成了理性认识，这就是思想。” &&&&&&&“人们的认识经过实践的考验，又会产生一个飞跃，比起前一个飞跃来，意义更伟大。” &&&&&&&“无产阶级认识世界的目的，只是为了改造世界，此外再无别的目的。” &&&&&&&“一般来说，成功了的就是正确的，失败了的就是错误的，特别是人类对自然界的斗争是如此。在社会斗争中，代表先进阶级的势力，有时候有些失败，并不是因为思想不正确，而是因为在斗争力量的对比上，先进势力这一方，暂时还不如反动势力那一方，所以暂时失败了，但是以后总有一天会成功的。” &&&&&&&“世界上只有唯心论和形而上学最省力，因为他们可以由人们瞎说一气，不要根据客观实际，也不受客观实际的检查。” &&&&&&&“唯物论和辩证法则要气力，他要根据客观实际，并受客观实际检查，不用力气就会滑到唯心论和形而上学方面去。” &&&&&&“人们的社会存在，决定人们的思想，一旦被群众掌握，就会变成改造社会、改造世界的物质力量。” &&&&&&&“这不是违反唯物论，正是避免了机械唯物论，坚持了辩证唯物论。” &&&&&&&“精神可以变成物质。” &&&&&&&&“不破不立。” &&&&&&&&“一个正确的认识，往往需要由物质到精神，由精神到物质，即由实践到认识，由认识到实践这样多次的反复，才能够完成。这就是马克思主义的认识论，这就是辩证唯物论的认识论。” &&&&&&&“实践、认识、在实践、在认识。这种形式，循环往复以至无穷，而实践和认识之每一循环的内容，都比较地进到了高一级的程度。” &&&&&&“主管和客观、理论和实践、知和行的具体的历史的统一。” &&&&&&“马克思主义者承认，在绝对的总的宇宙发展过程中，各个具体过程的发展都是相对的，因而在绝对真理的长河中，人们在各个一定发展阶段上的具体过程的认识只具有相对的真理性。无数的相对的真理之总和，就是绝对的真理。” &&&&&&“马克思列宁主义并没有结束真理，而是在实践中不断地开辟认识真理的道路。” &&&&&&&“谦虚，谨慎，戒骄，戒躁。” &&&&&&“&对我们的同志，应当进行辩证唯物论的认识论的教育，以便端正思想，善于调查研究，总结经验，克服困难，少犯错误，做好工作，努力奋斗，建设一个社会主义的伟大强国，并且帮助世界被压迫被剥削的广大人民，完成我们应当担负的国际主义的伟大义务。” &&&&&“团结起来，争取更大的胜利。” &&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&高恒
/Article/zatan/105.html}