使用随机森林进行乳腺癌预测及参数调参

缺乏、安全感 2022-12-12 04:53 165阅读 0赞

### 1. 导入需要的库 ###

from sklearn.datasets import load_breast_cancer
    from sklearn.ensemble import RandomForestClassifier
    from sklearn.model_selection import GridSearchCV
    from sklearn.model_selection import cross_val_score
    import matplotlib.pyplot as plt
    import pandas as pd
    import numpy as np

### 2. 导入数据集,探索数据 ###

data = load_breast_cancer()
     
    data
     
    data.data.shape
     
    data.target

可以看到，乳腺癌数据集有569条记录，30个特征，单看维度虽然不算太高，但是样本量非常少。过拟合的情况可a能存在。

### 3. 进行一次简单的建模,看看模型本身在数据集上的效果 ###

rfc = RandomForestClassifier(n_estimators=100,random_state=90)
    score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean()#交叉验证的分类默认scoring='accuracy'
    score_pre

![在这里插入图片描述][20201006134759444.png_pic_center]

这里可以看到，随机森林在乳腺癌数据上的表现本就还不错，在现实数据集上，基本上不可能什么都不调就看到95%以上的准确率

### 4. 随机森林调整的第一步:无论如何先来调n\_estimators ###

在这里我们选择学习曲线，可以使用网格搜索吗？可以，但是只有学习曲线，才能看见趋势  
我个人的倾向是，要看见n\_estimators在什么取值开始变得平稳，是否一直推动模型整体准确率的上升等信息  
第一次的学习曲线，可以先用来帮助我们划定范围，我们取每十个数作为一个阶段，来观察n\_estimators的变化如何  
引起模型整体准确率的变化

scorel = []
    for i in range(0,200,10):
        rfc = RandomForestClassifier(n_estimators=i+1,
                                     n_jobs=-1,
                                     random_state=90)
        score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
        scorel.append(score)
    print(max(scorel),(scorel.index(max(scorel))*10)+1)
    #list.index([object])
    #返回这个object在列表list中的索引
    plt.figure(figsize=[20,5])
    plt.plot(range(1,201,10),scorel)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center]

### 5. 在确定好的范围内,进一步细化学习曲线 ###

scorel = []
    for i in range(35,45):
        rfc = RandomForestClassifier(n_estimators=i,
                                     n_jobs=-1,
                                     random_state=90)
        score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
        scorel.append(score)
    print(max(scorel),([*range(35,45)][scorel.index(max(scorel))]))
    plt.figure(figsize=[20,5])
    plt.plot(range(35,45),scorel)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 1]  
调整n\_estimators的效果显著,模型的准确率立刻上升了0.005。

[20201006134759444.png_pic_center]: /images/20221123/d37e0a4575394d1ba45dfe837e948e47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/277574802d16452f84941ab324ca0cca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzkyMzgz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/75efd2e9571043e6a424759bebcdf1fb.png