专栏推荐

集成学习算法两大利器：

Bagging：随机森林

Boosting：Adaboost（提升方法），GBDT，xgboost

Bagging随机森林

Bootstraping由放回采样

比如【1，2，3，4】第一次取1，第二次取2，第三次取3，第四次还取2，因为是有放回的所以可以重复取

随机森林就是同一个数据集来构造多棵决策树，然后测试数据的时候，我们可以将测试数据传入到决策树中，假如有5棵结果判定测试数据是类别1，2棵判断测试数据是类别2，那么我们就根据多数原则来确定这个测试数据就是类别1。这个是分类的问题，如果要是回归问题的话，那么我们就计算所有树的平均数来确定这个测试数据的结果。

随机森林，随机有两层意思，第一层意思是数据样本的随机性，比如构造决策树的时候，我们设定只使用60%的数据，那么再样本【1，2，3......10】中只放回取6次，然后根据这6次的数据构造决策树。第二层意思是特征的随机性，我们设定只是用60%的样本，假如有每个样本有10个特征，那么我们就随机使用6个特征（无放回）构造决策树。总结就是一个随机是样本随机，还有一个随机是特征随机。

注意点1：随机选择样本，有放回的采样（Bootstrap），重复的选择部分样本来构造CART树。

注意点2：构造树的过程中，每次随机考察部分特征，不对树进行裁剪。

在生成一定数量的次优树之后，森林的输出采用简单多数的投票法（分类）或单棵树输出结果的简单平均（针对回归）得到。

随机森林的分析：

森林中单棵树的分类强度：每颗树的分类强度越大，则随机森林的分类性能越好。森林中树之间的相关度：树之间的相关度越大，则随机森林的分类性能越差。OOB错误率是随机森林的错误率无偏估计，对于每个样本，在其所有OOB的单树中的错误占比，作为OOB的错误率，因此随机森林不需要交叉验证。

在随机森林之Bagging法中可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中,当然也就没有参加决策树的建立,那是不是意味着就没有用了呢,答案是否定的。我们把这1/3的数据称为袋外数据ooB（out of bag）,它可以用于取代测试集误差估计方法.

用OOB error 估计作为泛化误差估计的一个组成部分,并且Breiman在论文中给出了经验性实例表明袋外数据误差估计与同训练集一样大小的测试集得到的精度一样，这样也就表明袋外数据(oob)误差估计是一种可以取代测试集的误差估计方法。

袋外数据(oob)误差的计算方法如下：

对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O;这已经经过证明是无偏估计的,所以在随机森林算法中不需要再进行交叉验证或者单独的测试集来获取测试集误差的无偏估计。