0403高级算法梳理——随机森林算法梳理

你的名字 2022-02-24 10:52 575阅读 0赞

### 任务一随机森林算法梳理 ###

*  一、集成学习的概念
 *  二、个体学习器概念
 *  三、boosting bagging
 *  四、结合策略(平均法，投票法，学习法)
 *  五、随机森林思想
 *  六、随机森林的推广
 *  七、优缺点
 *  八、sklearn参数
 *  九、应用场景

# 一、集成学习的概念 #

集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]  
  上图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们组合起来。**个体学习器**通常由一个现有的学习算法从训练数据中产生，例如C4.5决策树算法、BP神经网络算法。

集成学习通过将多个学习器进行结合，常常可以获得比单一学习器具有显著优越的泛化性能，这个对于弱学习器尤为明显。  
  如何获得一个好的集成学习器呢？每个个体学习器具有一定的准确性（每个学习器不能太坏）和多样性（每个学习器之间存在差异） 。  
  集成学习方法可以分为两大类：  
    一是个体学习器间存在强依赖关系、必须串行生成序列化方法，代表有Boosting算法；  
    二是个体学习器之间不存在强依赖关系、可同时生成的并行化方法，代表有Bagging和随机森林（Random Forest）。

*  序列集成方法，其中参与训练的基础学习器按照顺序生成（如AdaBoost）。序列方法的原理是利用基础学习器之间的依赖关系。通过对之前训练中错误标记的样本赋值较高的权重，可以提高整体的预测效果。
 *  并行集成方法，其中参与训练的基础学习器并行生成（如Random Forest）。并行方法的原理是利用基础学习器之间的独立性，通过平均可以显著降低错误。

# 二、个体学习器概念 #

个体学习器：通常由一个现有的学习算法从训练数据产生。  
**同质集成**中由类型相同的个体学习器组合而成，同质集成中个体学习器可称为**基学习器**  
**异质集成**中由类型不相同的个体学习器组合而成，异质集成中个体学习器可称为“组件学习器” 或直接称为“个体学习器”。

# 三、boosting bagging #

[http://www.cnblogs.com/liuwu265/p/4690486.html][http_www.cnblogs.com_liuwu265_p_4690486.html]  
  bagging和boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更强大的分类器，即将弱分类器组装成强分类器。  
**bagging(并行式集成学习方法)**  
A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping(自助法，有放回抽样方法)的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）  
B）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）  
C）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]  
**boosting**  
  其主要思想是将弱分类器组装成一个强分类器。在PAC（概率近似正确）学习框架下，则一定可以将弱分类器组装成一个强分类器。  
  关于Boosting的两个核心问题：  
    1）在每一轮如何改变训练数据的权值或概率分布？  
通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。  
    2）通过什么方式来组合弱分类器？  
通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]

# 四、结合策略(平均法，投票法，学习法) #

如何将个体学习器进行结合呢？

*  **平均法**：简单平均法、加权平均法。  
    针对数值型输出可采用平均法。一般而言，在个体学习器性能相差较大时宜使用加权平均法，在个体学习器性能相近时宜使用简单平均法。
 *  **投票法**：绝对多数投票法、相对多数投票法、加权投票法  
    绝对多数投票法：若某标记得票过半数，则预测为该标记；否则拒绝预测。  
    相对多数投票法：预测为得票最多的标记，若同时有多个标记获得最高票，则从中随机选取一个。  
    加权投票法与加权平均法类似。
 *  **学习**法：通过另一个学习器来进行结合。stacking是学习法典型代表。  
    我们把个体学习器称为初级学习期，用于结合的学习器称为次级学习器或元学习器。stacking先从初始数据集训练出初级学习器，然后“生成”一个新数据集用于训练次级学习器。在这个新数据集中，初级学习器的输出被当做样例输入特征，而初始样本的标记仍被当作样例标记。若直接用初级学习器的训练集来产生次级训练集过拟合风险会比较大，一般使用交叉验证或留一发，用训练初级学习器未使用的样本来产生次级学习器的训练样本。

# 五、随机森林思想 #

随机森林利用有放回且随机的抽样方法产生大量的树，每个决策树在分类/回归的时共同作出最终决定。  
  随机森林涉及2个随机：  
  随机选择样本：从训练集中有放回的抽取n个样本进行训练，相应产生n个决策树。  
  随机选择特征（拆分变量）：随机森林的拆分变量不像决策树的构建，随机森林由随机选择的少数变量“竞争”。这样做可以确保一些“弱势”变量参与建模以揭示数据的一些细微模式。

# 六、随机森林的推广 #

[http://www.cnblogs.com/pinard/p/6156009.html][http_www.cnblogs.com_pinard_p_6156009.html]  
  由于RF在实际应用中的良好特性，基于RF，有很多变种算法，应用也很广泛，不光可以用于分类回归，还可以用于特征转换，异常点检测等。

*  **extra trees**  
    extra trees是RF的一个变种, 原理几乎和RF一模一样，仅有区别有：  
    （1）对于每个决策树的训练集，RF采用的是随机采样bootstrap来选择采样集作为每个决策树的训练集，而extra trees一般不采用随机采样，**即每个决策树采用原始训练集。**  
    （2）在选定了划分特征后，RF的决策树会基于基尼系数，均方差之类的原则，选择一个最优的特征值划分点，这和传统的决策树相同（这里不敢苟同，应该是在随机选择的少数变量中选最优吧） 。**但是extra trees比较的激进，他会随机的选择一个特征值来划分决策树。**  
    （3）从第二点可以看出，由于随机选择了特征值的划分点位，而不是最优点位，这样会导致生成的决策树的规模一般会大于RF所生成的决策树。也就是说，模型的方差相对于RF进一步减少，但是偏倚相对于RF进一步增大。在某些时候，extra trees的泛化能力比RF更好。
 *  **Totally Random Trees Embedding**  
    Totally Random Trees Embedding(以下简称 TRTE)是一种非监督学习的数据转化方法\*\*。它将低维的数据集映射到高维\*\*，从而让映射到高维的数据更好的运用于分类回归模型。我们知道，在支持向量机中运用了核方法来将低维的数据集映射到高维，此处TRTE提供了另外一种方法。

TRTE在数据转化的过程也使用了类似于RF的方法，建立T个决策树来拟合数据。当决策树建立完毕以后，数据集里的每个数据在T个决策树中叶子节点的位置也定下来了。比如我们有3颗决策树，每个决策树有5个叶子节点，某个数据特征x划分到第一个决策树的第2个叶子节点，第二个决策树的第3个叶子节点，第三个决策树的第5个叶子节点。则x映射后的hot编码为(0,1,0,0,0, 0,0,1,0,0, 0,0,0,0,1), 有15维的高维特征。这里特征维度之间加上空格是为了强调三颗决策树各自的子编码。

*  **Isolation Forest**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]

# 七、优缺点 #

*  优点：  
    （1）训练可以高度并行化，对于大数据时代的大样本训练速度有优势。  
    （2）由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。  
    （3）在训练后，可以给出各个特征对于输出的重要性。  
    （4）由于采用了随机采样，训练出的模型的方差小，泛化能力强。  
    （5） 相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。  
    （6）对部分特征缺失不敏感。
 *  缺点：  
    （1）在某些噪音比较大的样本集上，RF模型容易陷入过拟合。  
    （2） 取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

# 八、sklearn参数 #

[https://www.itcodemonkey.com/article/5181.html][https_www.itcodemonkey.com_article_5181.html]  
[https://blog.csdn.net/u011301133/article/details/52562874][https_blog.csdn.net_u011301133_article_details_52562874]

class sklearn.ensemble.RandomForestClassifier（
        n_estimators=10, criterion='gini', max_depth=None, 
        min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
        max_features='auto', max_leaf_nodes=None, min_impurity_decrease=0.0, 
        min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=1, 
        random_state=None, verbose=0, warm_start=False, class_weight=None)

**（1）n\_estimators:随机森林中树的棵树，默认是10棵。**  
（2）criterion:样本集切分策略，默认是gini指数，此时树模型为CART模型，当值选为信息增益的时候，模型就成了ID3模型，默认为CART模型。  
（3）max\_depth: (default=None)设置树的最大深度，默认为None，这样建树时，会使每一个叶节点只有一个类别，或是达到min\_samples\_split。  
（4）min\_samples\_leaf:叶子节点最少的样本数。  
（5）max\_features: 选择最适属性时划分的特征不能超过此值。  
当为整数时，即最大特征数；当为小数时，训练集特征数\*小数；  
a)if “auto”, then max\_features=sqrt(n\_features).  
b)If “sqrt”, thenmax\_features=sqrt(n\_features).  
c)If “log2”, thenmax\_features=log2(n\_features).  
d)If None, then max\_features=n\_features.  
（6）max\_leaf\_nodes: (default=None)叶子树的最大样本数。  
（7）min\_weight\_fraction\_leaf: (default=0) 叶子节点所需要的最小权值  
**（8）bootstrap:是统计学中的一种重采样技术，可以简单理解成是有放回地抽样，默认是True,即采取有放回抽样这种策略，这不就是bagging的思想么。**  
**（9）oob\_score:袋外估计(out-of-bag)，这个外是针对于bagging这个袋子而言的，我们知道，bagging采取的随机抽样的方式去建立树模型，那么那些未被抽取到的样本集，也就是未参与建立树模型的数据集就是袋外数据集，我们就可以用这部分数据集去验证模型效果，默认值为False。**

# 九、应用场景 #

[https://www.leiphone.com/news/201712/RqsxWpjPOPFy6Qm4.html（各种机器学习的适用场景）][https_www.leiphone.com_news_201712_RqsxWpjPOPFy6Qm4.html]  
  （1）数据维度相对低（几十维），同时对准确性有较高要求时。  
  （2）因为不需要很多参数调整就可以达到不错的效果，基本上不知道用什么方法的时候都可以先试一下随机森林。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]: /images/20220224/f74eace438ad4ab6a33b7175f5413d30.png
[http_www.cnblogs.com_liuwu265_p_4690486.html]: http://www.cnblogs.com/liuwu265/p/4690486.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]: /images/20220224/ee2b413af75541afb9f0d88c899aba92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]: /images/20220224/2ff341b6e6ad4e47b120f17f837a96d9.png
[http_www.cnblogs.com_pinard_p_6156009.html]: http://www.cnblogs.com/pinard/p/6156009.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]: /images/20220224/97e633ba914d441c8e4af2cae2cff927.png
[https_www.itcodemonkey.com_article_5181.html]: https://www.itcodemonkey.com/article/5181.html
[https_blog.csdn.net_u011301133_article_details_52562874]: https://blog.csdn.net/u011301133/article/details/52562874
[https_www.leiphone.com_news_201712_RqsxWpjPOPFy6Qm4.html]: https://www.leiphone.com/news/201712/RqsxWpjPOPFy6Qm4.html%EF%BC%88%E5%90%84%E7%A7%8D%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E9%80%82%E7%94%A8%E5%9C%BA%E6%99%AF%EF%BC%89