python3 sklearn之决策树

红太狼 2022-01-17 08:31 198阅读 0赞

1，问题描述：

小王的目的是通过下周天气预报寻找什么时候人们会运动，以适时调整雇员数量。因此首先他必须了解人们决定是否运动的原因。

在2周时间内我们得到以下记录:

天气状况有晴，云和雨；气温用华氏温度表示；相对湿度用百分比；还有有无风。当然还有顾客是不是在这些日子是否运动。最终他得到了14列5行的数据表格：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70][]

2，决策树的算法描述：建立一个data.py文件

from sklearn.feature_extraction import DictVectorizer #将dict类型的list数据，转换成numpy array
    
    import csv  #读取CSV文件
    
    from sklearn import tree  #导入决策树算法
    
    from sklearn import preprocessing  #数据预处理
    
    alldata=open(r'C:\Users\14355\sun.csv','r',encoding='utf-8') # 读入数据
    
    reader=csv.reader(alldata)    #用reader来代表所有数据
    
    headers=next(reader)   #header是指数据的第一行，就是数据的特征
    
    print(headers) #因为SK包的数据输入是有一定的要求的，他的输入不能是类别。只能是 0,1。所以要先将数据转化成DICT类型
    
    label=[]    #定义一个存放标签的列表
    
    #然后用DictVextorizer的函数进行转换
    
    feature=[]  #定义一个存放特征的列表
    
    for row in reader:  #以行遍历所有数据
    
        label.append(row[-1])  #取出最后一个值，这个值是每条数据的标签
    
        rowDict={}             #定义一个字典类型
    
        for i in range(1,len(row)-1 ):
    
            if row[i].isdigit() and i>1:#对那些连续的属性值做一个简单的离散化
    
                row[i]= int(int(row[i])/10)
    
            rowDict[headers[i]]=row[i]  #把每条数据的 特征：属性 插入字典
    
     
    
        feature.append(rowDict)         #把字典插入列表
    
    print()
    
    print(label)
    
    print()
    
    print(feature)
    
    vec=DictVectorizer()                #实例化
    
    dummX=vec.fit_transform(feature).toarray() #使用实例内的方法对数据进行转换
    
    print()
    
    print(vec.get_feature_names())#打印出转换后的数据的表头
    
    print()
    
    print(str(dummX))             #打印出转换后的数据的表值
    
    lb=preprocessing.LabelBinarizer() #实例化
    
    dummY=lb.fit_transform(label)     #数据的转换
    
    print(str(dummY))
    
    #上面的过程就是把数据都转换成符合格式的数据了
    
    #可以调用sk包中的决策树算法进行分类
    
    clf=tree.DecisionTreeClassifier(criterion='gini') #使用基尼指数的方法
    
    clf=clf.fit(dummX,dummY)         #构建决策树
    
    print("clf: " + str(clf))#打印
    
    #输出到TD3.DOT文件中
    
    with open(".\\123.dot", 'w') as f:
    
        f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)  #要安装可视化工具graphviz
    
    	
    
    #预测数据
    
    oneRow=dummX[0,:]#取出一条数据进行修改
    
    newRow=oneRow
    
    print(newRow)
    
    oneRow[0]=6
    
    oneRow[2]=1
    
    print(oneRow)
    
    #进行预测
    
    predictY=clf.predict([newRow])
    
    print("predictY"+str(predictY))

运行结果如下：

runfile('C:/Users/14355/decitree.py', wdir='C:/Users/14355')
    ['NO', 'OUTLOOK', 'TEMPERATURE', 'HUMIDITY', 'WINDY', 'PLAY']
    
    ['n', 'n', 'y', 'y', 'y', 'n', 'y', 'n', 'y', 'n', 'y', 'n', 'y', 'n']
    
    [{'OUTLOOK': 'sunny', 'TEMPERATURE': 7, 'HUMIDITY': 6, 'WINDY': 'FALSE'}, {'OUTLOOK': 'sunny', 'TEMPERATURE': 6, 'HUMIDITY': 8, 'WINDY': 'TRUE'}, {'OUTLOOK': 'overcast', 'TEMPERATURE': 7, 'HUMIDITY': 7, 'WINDY': 'FALSE'}, {'OUTLOOK': 'rain', 'TEMPERATURE': 9, 'HUMIDITY': 9, 'WINDY': 'FALSE'}, {'OUTLOOK': 'rain', 'TEMPERATURE': 5, 'HUMIDITY': 8, 'WINDY': 'FALSE'}, {'OUTLOOK': 'rain', 'TEMPERATURE': 6, 'HUMIDITY': 7, 'WINDY': 'TRUE'}, {'OUTLOOK': 'overcast', 'TEMPERATURE': 6, 'HUMIDITY': 6, 'WINDY': 'TRUE'}, {'OUTLOOK': 'sunny', 'TEMPERATURE': 7, 'HUMIDITY': 9, 'WINDY': 'FALSE'}, {'OUTLOOK': 'sunny', 'TEMPERATURE': 6, 'HUMIDITY': 7, 'WINDY': 'FALSE'}, {'OUTLOOK': 'rain', 'TEMPERATURE': 7, 'HUMIDITY': 8, 'WINDY': 'FALSE'}, {'OUTLOOK': 'sunny', 'TEMPERATURE': 7, 'HUMIDITY': 6, 'WINDY': 'TRUE'}, {'OUTLOOK': 'overcast', 'TEMPERATURE': 7, 'HUMIDITY': 8, 'WINDY': 'TRUE'}, {'OUTLOOK': 'overcast', 'TEMPERATURE': 8, 'HUMIDITY': 9, 'WINDY': 'FALSE'}, {'OUTLOOK': 'rain', 'TEMPERATURE': 7, 'HUMIDITY': 8, 'WINDY': 'TRUE'}]
    
    ['HUMIDITY', 'OUTLOOK=overcast', 'OUTLOOK=rain', 'OUTLOOK=sunny', 'TEMPERATURE', 'WINDY=FALSE', 'WINDY=TRUE']
    
    [[6. 0. 0. 1. 7. 1. 0.]
     [8. 0. 0. 1. 6. 0. 1.]
     [7. 1. 0. 0. 7. 1. 0.]
     [9. 0. 1. 0. 9. 1. 0.]
     [8. 0. 1. 0. 5. 1. 0.]
     [7. 0. 1. 0. 6. 0. 1.]
     [6. 1. 0. 0. 6. 0. 1.]
     [9. 0. 0. 1. 7. 1. 0.]
     [7. 0. 0. 1. 6. 1. 0.]
     [8. 0. 1. 0. 7. 1. 0.]
     [6. 0. 0. 1. 7. 0. 1.]
     [8. 1. 0. 0. 7. 0. 1.]
     [9. 1. 0. 0. 8. 1. 0.]
     [8. 0. 1. 0. 7. 0. 1.]]
    [[0]
     [0]
     [1]
     [1]
     [1]
     [0]
     [1]
     [0]
     [1]
     [0]
     [1]
     [0]
     [1]
     [0]]
    clf: DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
                max_features=None, max_leaf_nodes=None,
                min_impurity_decrease=0.0, min_impurity_split=None,
                min_samples_leaf=1, min_samples_split=2,
                min_weight_fraction_leaf=0.0, presort=False, random_state=None,
                splitter='best')
    [6. 0. 0. 1. 7. 1. 0.]
    [6. 0. 1. 1. 7. 1. 0.]
    predictY[0]

输出文件为123.dot文件。

digraph Tree {
    node [shape=box] ;
    0 [label="TEMPERATURE <= 7.5\ngini = 0.5\nsamples = 14\nvalue = [7, 7]"] ;
    1 [label="HUMIDITY <= 7.5\ngini = 0.486\nsamples = 12\nvalue = [7, 5]"] ;
    0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
    2 [label="OUTLOOK=rain <= 0.5\ngini = 0.444\nsamples = 6\nvalue = [2, 4]"] ;
    1 -> 2 ;
    3 [label="TEMPERATURE <= 6.5\ngini = 0.32\nsamples = 5\nvalue = [1, 4]"] ;
    2 -> 3 ;
    4 [label="gini = 0.0\nsamples = 2\nvalue = [0, 2]"] ;
    3 -> 4 ;
    5 [label="WINDY=FALSE <= 0.5\ngini = 0.444\nsamples = 3\nvalue = [1, 2]"] ;
    3 -> 5 ;
    6 [label="gini = 0.0\nsamples = 1\nvalue = [0, 1]"] ;
    5 -> 6 ;
    7 [label="OUTLOOK=sunny <= 0.5\ngini = 0.5\nsamples = 2\nvalue = [1, 1]"] ;
    5 -> 7 ;
    8 [label="gini = 0.0\nsamples = 1\nvalue = [0, 1]"] ;
    7 -> 8 ;
    9 [label="gini = 0.0\nsamples = 1\nvalue = [1, 0]"] ;
    7 -> 9 ;
    10 [label="gini = 0.0\nsamples = 1\nvalue = [1, 0]"] ;
    2 -> 10 ;
    11 [label="TEMPERATURE <= 5.5\ngini = 0.278\nsamples = 6\nvalue = [5, 1]"] ;
    1 -> 11 ;
    12 [label="gini = 0.0\nsamples = 1\nvalue = [0, 1]"] ;
    11 -> 12 ;
    13 [label="gini = 0.0\nsamples = 5\nvalue = [5, 0]"] ;
    11 -> 13 ;
    14 [label="gini = 0.0\nsamples = 2\nvalue = [0, 2]"] ;
    0 -> 14 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
    }

4，window下面dot文件转为pdf文件。

官方地址：[http://www.graphviz.org/][http_www.graphviz.org]

转dot为pdf图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70]: /images/20220117/c91fb5f698b649ad9b723039d616b757.png
[http_www.graphviz.org]: http://www.graphviz.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 1]: /images/20220117/313ef63faae9470fb35e791f7288be6e.png