bootstrap,&boosting,&bagging&几种方法的区别与联系（转载）
参考来源：http://blog.csdn.net/jlei_apple/article/details/8168856
==========================================================
这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap,
jackknife, bagging, boosting, random forest
都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。
首先列出一些找到的介绍boosting算法的资源：
（1）视频讲义，介绍boosting算法，主要介绍AdaBoosing&
http://videolectures.net/mlss05us_schapire_b/
在这个网站的资源项里列出了对于boosting算法来源介绍的几篇文章，可以下载：
http://www.boosting.org/tutorials
一个博客介绍了许多视觉中常用算法，作者的实验和理解，这里附录的链接是关于使用opencv进行人脸检测的过程和代码，可以帮助理解训练过程是如何完成的：
/tornadomeet/archive//2420936.html
（4）这里是一个台湾的电子期刊上关于AdaBoost的介绍:&
http://140.113.87.114/cvrc/edm/vol_6/tech1.htm
=============================================================================&
）Jackknife，Bootstraping,
bagging, boosting, AdaBoosting, Rand forest 和 gradient
这些术语，我经常搞混淆，现在把它们放在一起，以示区别。(部分文字来自网络，由于是之前记的笔记，忘记来源了，特此向作者抱歉）
Bootstraping:&名字来自成语“pull
up by your own
bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下：
采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。&
　　（2） 根据抽出的样本计算给定的统计量T。&
　　（3） 重复上述N次（一般大于1000），得到N个统计量T。&
　　（4） 计算上述N个统计量T的样本方差，得到统计量的方差。
　　应该说Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。
Jackknife：
和上面要介绍的Bootstrap功能类似，只是有一点细节不一样，即每次从样本中抽样时候只是去除几个样本（而不是抽样），就像小刀一样割去一部分。
sewm，shinningmonster.)
======================================================================================
下列方法都是上述Bootstraping思想的一种应用。
bagging：bootstrap
aggregating的缩写。让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后可得到一个预测函数序列h_1，⋯
⋯h_n ，最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。
[训练R个分类器f_i，分类器之间其他相同就是参数不同。其中f_i是通过从训练集合中(N篇文档)随机取(取后放回)N次文档构成的训练集合训练得到的。对于新文档d，用这R个分类器去分类，得到的最多的那个类别作为d的最终类别。]
boosting:&其中主要的是AdaBoost（Adaptive
Boosting）。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练例进行学习，从而得到一个预测函数序列h_1,⋯,
其中h_i也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。
（类似Bagging方法，但是训练是串行进行的，第k个分类器训练时关注对前k-1分类器中错分的文档，即不是随机取，而是加大取这些文档的概率。)
sewm，shinningmonster.）
Bagging与Boosting的区别：二者的主要区别是取样方式不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。Bagging的训练集的选择是随机的，各轮训练集之间相互独立，而Boostlng的各轮训练集的选择与前面各轮的学习结果有关；Bagging的各个预测函数没有权重，而Boosting是有权重的；Bagging的各个预测函数可以并行生成，而Boosting的各个预测函数只能顺序生成。对于象神经网络这样极为耗时的学习方法。Bagging可通过并行训练节省大量时间开销。
bagging和boosting都可以有效地提高分类的准确性。在大多数数据集中，boosting的准确性比bagging高。在有些数据集中，boosting会引起退化---
Boosting思想的一种改进型AdaBoost方法在邮件过滤、文本分类方面都有很好的性能。
boosting（又叫Mart, Treenet)：Boosting是一种思想，Gradient
Boosting是一种实现Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数(loss
function)描述的是模型的不靠谱程度，损失函数越大，则说明模型越容易出错。如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度（Gradient)的方向上下降。
forest：&随机森林，顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。
在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random
forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M个feature中，选择m个(m
M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤
- 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。
按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。
forest与bagging的区别：1）. Rand
forest是选与输入样本的数目相同多的次数（可能一个样本会被选取多次，同时也会造成一些样本不会被选取到），而bagging一般选取比输入样本的数目少的样本；2）.
bagging是用全部特征来得到分类器，而rand forest是需要从全部特征中选取其中的一部分来训练得到分类器； 一般Rand
forest效果比bagging效果好！
）原文地址：&&&
.cn/s/blog_5dd2eko.html
bagging boosting这几个概念经常用到，现仔细学习了一下：
他们都属于集成学习方法，(如：Bagging，Boosting，Stacking)，将训练的学习器集成在一起,原理来源于PAC学习模型（ProbablyApproximately
CorrectK）。Kearns和Valiant指出，在PAC学习模型中，若存在一
个多项式级的学习算法来识别一组概念，并且识别正确率很高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。他们提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果两者等价，那么在学习概念时，只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。
bootstraps:名字来自成语“pull
up by your
ownbootstraps”，意思是依靠你自己的资源，它是一种有放回的抽样方法，学习中还发现有种叫jackknife的方法，它是每一次移除一个样本。
bagging:bootstrapaggregating的缩写。让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练倒组成，初始训练例在某轮训练集中可以出现多次或根本不出现训练之后可得到一个预测函数序列h．，⋯⋯h
最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。
(训练个分类器，分类器之间其他相同就是参数不同。其中是通过从训练集合中N篇文档随机取取后放回N次文档构成的训练集合训练得到的。对于新文档，用这个分类器去分类，得到的最多的那个类别作为的最终类别.)
boosting:其中主要的是AdaBoost（AdaptiveBoosting）。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练铡进行学习，从而得到一个预测函数序列h一⋯h其中h．也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。(类似方法，但是训练是串行进行的，第个分类器训练时关注对前分类器中错分的文档，即不是随机取，而是加大取这些文档的概率).
Bagging与Boosting的区别：在于Bagging的训练集的选择是随机的，各轮训练集之间相互独立，而Boostlng的训练集的选择是独立的，各轮训练集的选择与前面各轮的学习结果有关；Bagging的各个预测函数没有权重，而Boosting是有权重的；Bagging的各个预测函数可以并行生成，而Boosting的各个预测函数只能顺序生成。对于象神经网络这样极为耗时的学习方法。Bagging可通过并行训练节省大量时间开销。bagging和boosting都可以有效地提高分类的准确性。在大多数数据集中，boosting的准确性比bagging高。在有些数据集中，boosting会引起退化。---Overfit
文本分类中使用的投票方法（Voting，也叫组合分类器）就是一种典型的集成机器学习方法。它通过组合多个弱分类器来得到一个强分类器，包括Bagging和Boosting两种方式，二者的主要区别是取样方式不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。投票分类方法虽然分类精度较高，但训练时间较长。Boosting思想的一种改进型AdaBoost方法在邮件过滤、文本分类方面都有很好的性能。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。来源：/guolei/archive//3091301.html这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。一并列出一些找到的介绍boosting算法的资源：（1）视频讲义，介绍boosting算法，主要介绍AdaBoosing& & http://videolectures.net/mlss05us_schapire_b/（2）在这个网站的资源项里列出了对于boosting算法来源介绍的几篇文章，可以下载： && http://www.boosting.org/tutorials（3）一个博客介绍了许多视觉中常用算法，作者的实验和理解，这里附录的链接是关于使用opencv进行人脸检测的过程和代码，可以帮助理解训练过程是如何完成的：/tornadomeet/archive//2420936.html（4）这里是一个台湾的电子期刊上关于AdaBoost的介绍:& http://140.113.87.114/cvrc/edm/vol_6/tech1.htmJackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语，我经常搞混淆，现在把它们放在一起，以示区别。(部分文字来自网络，由于是之前记的笔记，忘记来源了，特此向作者抱歉）Bootstraping:&名字来自成语“pull up by your own bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下：　　（1） 采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。&　　（2） 根据抽出的样本计算给定的统计量T。&　　（3） 重复上述N次（一般大于1000），得到N个统计量T。&　　（4） 计算上述N个统计量T的样本方差，得到统计量的方差。应该说Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。Jackknife： 和上面要介绍的Bootstrap功能类似，只是有一点细节不一样，即每次从样本中抽样时候只是去除几个样本（而不是抽样），就像小刀一样割去一部分。============================================================================================================================下列方法都是上述Bootstraping思想的一种应用。bagging：bootstrap aggregating的缩写。让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后可得到一个预测函数序列h_1，? ?h_n ，最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。[训练R个分类器f_i，分类器之间其他相同就是参数不同。其中f_i是通过从训练集合中(N篇文档)随机取(取后放回)N次文档构成的训练集合训练得到的。对于新文档d，用这R个分类器去分类，得到的最多的那个类别作为d的最终类别。]&boosting:&其中主要的是AdaBoost（Adaptive Boosting）。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练例进行学习，从而得到一个预测函数序列h_1,?, h_m , 其中h_i也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。（类似Bagging方法，但是训练是串行进行的，第k个分类器训练时关注对前k-1分类器中错分的文档，即不是随机取，而是加大取这些文档的概率。)&Bagging与Boosting的区别：二者的主要区别是取样方式不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。Bagging的训练集的选择是随机的，各轮训练集之间相互独立，而Boostlng的各轮训练集的选择与前面各轮的学习结果有关；Bagging的各个预测函数没有权重，而Boosting是有权重的；Bagging的各个预测函数可以并行生成，而Boosting的各个预测函数只能顺序生成。对于象神经网络这样极为耗时的学习方法。Bagging可通过并行训练节省大量时间开销。bagging和boosting都可以有效地提高分类的准确性。在大多数数据集中，boosting的准确性比bagging高。在有些数据集中，boosting会引起退化--- Overfit。Boosting思想的一种改进型AdaBoost方法在邮件过滤、文本分类方面都有很好的性能。&gradient boosting（又叫Mart, Treenet)：Boosting是一种思想，Gradient Boosting是一种实现Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数(loss function)描述的是模型的不靠谱程度，损失函数越大，则说明模型越容易出错。如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度（Gradient)的方向上下降。Rand forest：&随机森林，顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M个feature中，选择m个(m && M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。 按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。Rand forest与bagging的区别：1）. Rand forest是选与输入样本的数目相同多的次数（可能一个样本会被选取多次，同时也会造成一些样本不会被选取到），而bagging一般选取比输入样本的数目少的样本；2）. bagging是用全部特征来得到分类器，而rand forest是需要从全部特征中选取其中的一部分来训练得到分类器； 一般Rand forest效果比bagging效果好！bootstraps bagging boosting这几个概念经常用到，现仔细学习了一下：他们都属于集成学习方法，(如：Bagging，Boosting，Stacking)，将训练的学习器集成在一起,原理来源于PAC学习模型（ProbablyApproximately CorrectK）。Kearns和Valiant指出，在PAC学习模型中，若存在一个多项式级的学习算法来识别一组概念，并且识别正确率很高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。他们提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果两者等价，那么在学习概念时，只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。bootstraps:名字来自成语“pull up by your ownbootstraps”，意思是依靠你自己的资源，它是一种有放回的抽样方法，学习中还发现有种叫jackknife的方法，它是每一次移除一个样本。bagging:bootstrapaggregating的缩写。让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练倒组成，初始训练例在某轮训练集中可以出现多次或根本不出现训练之后可得到一个预测函数序列h．，??h 最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。(训练R个分类器fi，分类器之间其他相同就是参数不同。其中fi是通过从训练集合中(N篇文档)随机取(取后放回)N次文档构成的训练集合训练得到的。对于新文档d，用这R个分类器去分类，得到的最多的那个类别作为d的最终类别.)boosting:其中主要的是AdaBoost（AdaptiveBoosting）。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练铡进行学习，从而得到一个预测函数序列h一?h其中h．也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。(类似Bagging方法，但是训练是串行进行的，第k个分类器训练时关注对前k-1分类器中错分的文档，即不是随机取，而是加大取这些文档的概率).文本分类中使用的投票方法（Voting，也叫组合分类器）就是一种典型的集成机器学习方法。它通过组合多个弱分类器来得到一个强分类器，包括Bagging和Boosting两种方式，二者的主要区别是取样方式不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。投票分类方法虽然分类精度较高，但训练时间较长。Boosting思想的一种改进型AdaBoost方法在邮件过滤、文本分类方面都有很好的性能。&&为了促进交流，方便大家交换知识与经验，本号开通了“算数交流群”，愿意进群的读者，请先加个人微信号MissAmath !添加个人微信号时，请备注“算数”二字，谢谢！热经典文章推荐：回复以下关键字获取相关文章：数据挖掘&|&机器学习&|&数学之美&|&游戏算法&|&生活数学&|&排名算法|大型网站技术演进&|&数学名人&|&学科概述&|&计算机科学&|&搜索引擎据说好多人都不知道长按图片也能关注，你知道吗？算法与数学之美(MathAndAlgorithm)　
　文章为作者独立观点，不代表微头条立场
的最新文章
《H2O》《A Tour of Machine Learning Algorithms》介绍:这是一篇关于机流量战争、产品同质化、资本寒冬……这一系列或实或虚的标签让当下国内互联网人的日子看起来没那么好过。“如果能再有许多孩子花费比常人多十倍的努力，却考不到别人一半的成绩，而有的孩子学得轻松，玩着也能当学霸，这种差异现象变导读：高中毕业很多年了，多年不做题的你，数学还记得多少？函数还是阶乘公式还记得么？大学学的高数微积分都丢了么线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学本文作者:matrix67来源：/article/数学的领域在扩大。哲学的地盘在缩小。链接：/article/241816/来源：果壳图片来源BBC网站我一门科学的历史是那门科学中最宝贵的一部分，因为科学只能给我们知识，而历史却能给我们智慧。——傅鹰数学的历史是与费尔马猜想时隔三个半世纪以上才被解决，哥德巴赫猜想历经两个半世纪以上屹立不倒相比，黎曼猜想只有一个半世纪的原文地址：/ty4z2008/Qix/blob/master/dl.md在现实中，我们发现，有些孩子学习很轻松，成绩总是名列前茅。有些孩子却一直死记硬背，非常努力的学习，成绩总是不近日参加了一年一度的数据挖掘届盛会，2016 ACM SIGKDD大会。在会议上除了大量专业的学术论文报告和中国数学史源远流长，有4500年左右。早在仰韶文化出土的陶器上即有规则三角形图案与计数点阵。随着人工智能掀起热潮，智能聊天机器人作为热门领域，已然成为科技巨头们下一个主攻的方向，意图抢占下一个风口，也国际权威的学术组织ICDM早前评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.分类（classification）问题是数据挖掘领域研究的历史最为悠长，也是研究的较为透详细的介绍了泛函分析的主要内容，发展历程！题目：写一个函数，求两个整数的之和，要求在函数体内不得使用＋、－、×、÷。分析：这又是一道考察发散思维的很有概率论在机器学习中占主要地位，因为概率论为机器学习算法的正确性提供了理论依据，学习算法的设计经常依赖于对数据的概率假设以及在某些算法中被直接使用等。首先看款式，第一款：【费马猜想】最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。《大西洋月刊》撰稿人汤姆·查特菲尔德（Tom Chatfield）发表文章，讲述了数字时代一些词汇作者：刘未鹏来源：//probability-th为什么有些学生很努力的学习，每天从早上五点学习到晚上12点，平时还要去参加各种辅导班，但是到考试的时候，学习之前我们推送过L0，L1和L2范数，这篇我们来讲下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法这是一篇很难写的文章，因为我希望这篇文章能对学习者有所启发。我在空白页前坐下，并且问自己了一个很难的问题：什激活、维持、关闭通信端点之间的机械特性、电气特性、功能特性以及过程特性。该层为上层协议提供了一个传输数据的物理媒体。编者按：你一定听过Google Brain，也一定使用过Google Photos和Gmail等产品，并且赞如果没有黎曼几何的发展，爱因斯坦将会需要更多的时间来创立伟大的广义相对论。值得一提的是，他的博士论文全部是通过他自己想象写出来的。形式最简单的定理往往是最好的定理，比如说中心极限定理，这样的定理往往会成为某一个领域的理论基础。机器学习的各种算法中使用的方法，最常见的就是贝叶斯定理。出自比特网原文地址：/server/151/_m神经网络最早是人工智能领域的一种算法或者说是模型，目前神经网络已经发展成为一类多学科交叉的学科领域，它也随着深度学习取得的进展重新受到重视和推崇。计算似乎无所不能，宛如新的上帝。但即使是这位“上帝”，也逃不脱逻辑设定的界限。在过去它们是有区别的，但是这两个不同的分类慢慢地合并了，而如今在大多在情况下和使用中可以把它们看成一个整体。二分法在平时经常用到，除了查找某个key的下标以外，还有很多变形的形式。比如 STL 里的 lower_bo阅读目录1. 顺序查找2. 二分查找3. 插值查找4. 斐波那契查找5. 树表查找6. 分块查找7. 哈希查很多人玩 Dota 的时候总说，脸太黑了，剑圣都不暴击，暴击的话对面英雄就带走了，但是暴击真的看脸吗？其实不网络爬虫技术是搜索引擎架构中最为根本的数据技术，通过网络爬虫技术，我们可以将互联网中数以百亿计的网页信息保存到本地，形成一个镜像文件，为整个搜索引擎提供数据支撑。4 主题模型LDA
在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获：通过上文LDA主题模型贝叶斯网络作者：张建中先生原文地址：http://zhangjianzhong./201507尺度不变特征转换(Scale-invariant feature transform 或 SIFT)是一种电作者：张建中先生原文地址：http://zhangjianzhong./201507（一）HOG特征1、HOG特征：方向梯度直方图（Histogram of Oriented Gradient第一节、多项式乘法
我们知道，有两种表示多项式的方法，即系数表示法和点值表示法。什么是系数表示法?所谓作者：zouxy09来源：http://blog.csdn.net/zouxy09/article/deta看到哪个数，你会觉得最孤独？有人会说是1，因为它孤身一人。有人会说是0，因为它没有任何存在感。有人会说是21MathAndAlgorithm从生活中挖掘数学之美，在科研中体验算法之奇，展现数学与算法的神奇，分享数学与算法的美丽！魅力旅程，从此开始，这里是梦幻世界的入口！热门文章最新文章MathAndAlgorithm从生活中挖掘数学之美，在科研中体验算法之奇，展现数学与算法的神奇，分享数学与算法的美丽！魅力旅程，从此开始，这里是梦幻世界的入口！}