机器学习——决策树(2020最新版)

左手的ㄟ右手 2022-11-26 01:53 148阅读 0赞

### 1、什么是决策树(Decision Tree) ###

![20200810114437366.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70][]

### 2、决策树算法发展 ###

![20200810114515812.png][]

### 3、决策树的例子 ###

根据age、income、student、credit\_rating属性来推断是否会买电脑：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 1][]

然后画出如下的决策树：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 2][]

### 4、熵(entropy)的概念 ###

![20200810114655725.png][]

**(1) 熵其实可以代表不确定性，如果一个事情的熵越大，代表不确定性越大；熵越小，说明事情是比较确定的。**

**4.1 信息熵的计算**

![20200810114729159.png][]

所以分别得到骰子A、B、C的信息熵：

![20200810114757217.png][]

所以有骰子ABC可知，信息熵越大，不确定性越大。

### 5、ID3算法(选择根节点的算法) ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 3][]

**(1) 把信息增益最大的那个作为根节点，如下图，age的信息增益最大，为0.246，即age为根节点。**

![20200810114859987.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 4][]

再分别累计使用ID3算法选择下一个节点的根节点：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 5][]

### 6、连续变量的处理、C4.5算法的提出 ###

![20200810115007614.png][]

**(2) ID3算法比较倾向选择分支数(属性值)比较多的那个参数(下面图中age是三个属性值，而students、credit-rating、income都只有两个属性值)**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 6][]

**而为了优化这种倾向于选择因子数较多的变量的特点，提出来C4.5算法:**

![20200810115052407.png][]

### 7、决策树的一个例子ID3 algorithm(dataset:是否要购买电脑)+如何画决策树 ###

# -*- coding: utf-8 -*- #
    """
    -------------------------------------------------------------------------------
      FileName:    decision_tree_ID3
      Author:      newlinfeng
      Date:        2020/8/3 0003  10:17
      Description: 使用是否购买电脑的数据集，来构建一个决策树例子(ID3)
    -------------------------------------------------------------------------------
    """
    from sklearn.feature_extraction import DictVectorizer
    from sklearn import tree
    from sklearn import preprocessing
    import csv
    
    #读入数据
    Dtree = open(r'AllElectronics.csv', 'r')
    #这次不是使用numpy来读(如果都是数字，可以使用这种方式来读，但现在这个csv里面都是字符，需要使用csv来读取)，而是使用csv来读
    reader = csv.reader(Dtree)
    
    #获取第一行数据
    #__next__()：读取文件里面的第一行
    headers = reader.__next__()
    print(headers)
    
    #定义两个列表
    featureList = [] #保存特征的
    labelList = [] #保存标签的
    
    
    for row in reader: #每次从reader里面读取一行
        #把label存入list
        labelList.append(row[-1]) #拿到每一行的最后一列的数据存入标签的list中
        rowDict = {} #定义了一个空的字典
        for i in range(1, len(row)-1): #某一行的每一列(除第一行，最后一列以外)对应元素遍历，存入rowDict中
            #建立一个数据字典
            rowDict[headers[i]] = row[i]
        #把数据字典存入list
        featureList.append(rowDict) #再将每个rowDict保存到特征list
    
    print('特征List初始化后的值:', featureList)
    print('标签List初始化后的值:', labelList)
    
    
    #由于算法无法使用字符来进行计算和分析，只能使用数字，所以需要将上面的数据进行转化
    vec = DictVectorizer() #这个DictVectorizer类主要是将字典结构的字符转换为数字形式
    x_data = vec.fit_transform(featureList).toarray()
    print('featureList数字化转换成x_data: ' + str(x_data))
    
    #打印属性名称
    print(vec.get_feature_names())
    #打印标签list
    print("labelList:"+str(labelList))
    
    #把标签转换成01表示
    lb = preprocessing.LabelBinarizer()
    y_data = lb.fit_transform(labelList)
    print("labelList转换后的y_data:"+str(y_data) )
    
    
    #创建一个决策树模型
    # DecisionTreeClassifier:决策树分类器；criterion属性表示使用不同的算法，默认是gini的方式，这里是entropy是信息熵的方式
    model = tree.DecisionTreeClassifier(criterion='entropy')
    #输入数据建立模型
    model.fit(x_data, y_data)
    
    #测试
    x_test = x_data[0] #选取x_data中的第0行元素
    print("x_test:", str(x_test))
    
    #reshape() 把x_test从一维数据变成二维数据
    predict = model.predict(x_test.reshape(1, -1))
    print("predict:"+str(predict))
    
    '''
    导出决策树
    @todo：
    1.pip install graphviz
    2.http://www.graphviz.org
    '''
    import graphviz #http://www.graphviz.org
    
    dot_data = tree.export_graphviz(model,
                                    out_file=None,
                                    feature_names=vec.get_feature_names(),
                                    class_names=lb.classes_,
                                    filled=True,
                                    rounded=True,
                                    special_characters=True)
    graph = graphviz.Source(dot_data)
    graph.render('computer')

**(1) 这里需要注意，在第一次安装完毕graphviz之后，需要讲Pycharm重启一下，否则画图会报如下错误：**

graphviz.backend.ExecutableNotFound: failed to execute ['dot', '-Tpdf', '-O', 'cart'], make sure the Graphviz executables are on your systems' PATH

**最终决策树的pdf文件为：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 7][]

### 7、CART算法 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 8][]

**7.1 CART算法举例**

![20200810115314961.png][]

![20200810115331140.png][]

**第一步：**

![20200810115351949.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 9][]

**第二步：**

![20200810115421864.png][]

![20200810115436562.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 10][]

![20200810115507773.png][]

![20200810115531890.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 11][]

![20200810115604829.png][]

**最后构建的CART:**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 12][]

### 8、抵抗决策树的过拟合问题：决策树的剪枝 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 13][]

### 9、决策树的优缺点 ###

![20200810120032816.png][]

### 10、使用CART算法来实现决策树的一个问题 ###

# -*- coding: utf-8 -*- #
    """
    -------------------------------------------------------------------------------
      FileName:    decision_tree_CART
      Author:      newlinfeng
      Date:        2020/8/3 0003  22:22
      Description: 使用CART算法实现决策树的例子
    -------------------------------------------------------------------------------
    """
    from sklearn import tree
    import numpy as np
    
    #载入数据
    data = np.genfromtxt("cart.csv", delimiter=",")
    x_data = data[1:, 1:-1]
    y_data = data[1:, -1]
    
    #创建决策树模型
    model = tree.DecisionTreeClassifier()
    #输入数据建立模型
    model.fit(x_data, y_data)
    
    #导出决策树
    import graphviz
    dot_data = tree.export_graphviz(model,
                                    out_file=None,
                                    feature_names=['house_yes', 'house_no', 'single', 'married', 'divorced', 'income'],
                                    class_names=['no', 'yes'],
                                    filled=True,
                                    rounded=True,
                                    special_characters=True)
    graph = graphviz.Source(dot_data)
    graph.render('cart')

得到的decision tree的PDF：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 14][]

### 11、决策树-线性二分类(linear dichotomy) ###

# -*- coding: utf-8 -*- #
    """
    -------------------------------------------------------------------------------
      FileName:    linear_dichotomy
      Author:      newlinfeng
      Date:        2020/8/4 0004  9:05
      Description: 使用决策树解决线性二分类的问题
    -------------------------------------------------------------------------------
    """
    import matplotlib.pyplot as plt
    import numpy as np
    from sklearn.metrics import classification_report
    from sklearn import tree
    
    #载入数据
    data = np.genfromtxt("LR-testSet.csv", delimiter=',')
    x_data = data[:, :-1]
    y_data = data[:, -1]
    
    plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
    plt.show()
    
    
    #创建决策树模型
    model = tree.DecisionTreeClassifier()
    #输入数据建立模型
    model.fit(x_data, y_data)
    
    #导出决策树
    import graphviz
    dot_data = tree.export_graphviz(model,
                                    out_file=None,
                                    feature_names=['x', 'y'],
                                    class_names=['label0', 'label1'],
                                    filled=True,
                                    rounded=True,
                                    special_characters=True)
    graph = graphviz.Source(dot_data)
    
    
    #输入数据建立模型
    model.fit(x_data, y_data)
    
    #获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max()+1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max()+1
    
    #生成网络矩阵
    xx, yy = np.meshgrid(np.arange(x_min, y_max, 0.02),
                         np.arange(y_min, y_max, 0.02))
    #ravel与flatten类似,多维数组转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    z = z.reshape(xx.shape)
    #等高线图
    cs = plt.contourf(xx, yy, z)
    #样本散点图
    plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
    plt.show()
    
    
    predictions = model.predict(x_data)
    print(classification_report(predictions,y_data))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 16][]

### 12、决策树-非线性二分类(non-linear dichotomy)/出现了过拟合 ###

# -*- coding: utf-8 -*- #
    """
    -------------------------------------------------------------------------------
      FileName:    non-linear_dichotomy
      Author:      newlinfeng
      Date:        2020/8/5 0005  15:16
      Description: 使用决策树解决非线性二分类
    -------------------------------------------------------------------------------
    """
    import matplotlib.pyplot as plt
    import numpy as np
    from sklearn.metrics import classification_report
    from sklearn import tree
    from sklearn.model_selection import train_test_split
    
    #载入数据
    data = np.genfromtxt("LR-testSet2.txt", delimiter=',')
    x_data = data[:, :-1]
    y_data = data[:, -1]
    
    plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
    plt.show()
    
    
    #分割数据,默认情况下是3/4是训练集和训练集标签；1/4是测试集和测试集标签
    x_train, x_test, y_train, y_test = train_test_split(x_data, y_data)
    
    #创建决策树模型
    #max_depth, 树的深度
    #min_samples_split 内部节点再划分所需要最小样本数
    model = tree.DecisionTreeClassifier()
    #输入数据建立模型
    model.fit(x_train, y_train)
    
    #导出决策树
    import graphviz
    
    dot_data = tree.export_graphviz(model,
                                    out_file=None,
                                    feature_names= ['x', 'y'],
                                    class_names = ['label0', 'label1'],
                                    filled=True,
                                    rounded = True,
                                    special_characters=True)
    graph = graphviz.Source(dot_data)
    # graph.render('non-linear_dichotomy') #决策树导出为pdf
    
    
    #获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max()+1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max()+1
    
    #生成网络矩阵
    xx, yy = np.meshgrid(np.arange(x_min, y_max, 0.02),
                         np.arange(y_min, y_max, 0.02))
    #ravel与flatten类似,多维数组转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    z = z.reshape(xx.shape)
    #等高线图
    cs = plt.contourf(xx, yy, z)
    #样本散点图
    plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
    plt.show()
    
    
    #使用训练集预测效果非常好，几个标准都为1
    predictions = model.predict(x_train)
    print(classification_report(predictions,y_train))
    
    #使用训练集预测效果非常差，几个标准都为只有50%
    predictions = model.predict(x_test)
    print(classification_report(predictions,y_test))

决策树导出为PDF展示，结构较为复杂：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 17][]

描述的决策边界：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 18][]

**最终结果却出现了过拟合：即：训练集中很好，测试集中表现很差，如下图：**

训练集进行预测，很好：

![20200810121027936.png][]

测试集进行预测，很差：

![20200810121046744.png][]

**12.1 使用剪枝来抵抗过拟合**

剪枝的方式如下：

**(1) **在DecisionTreeClassifier()方法中设置树的深度max\_depth

![20200810121125538.png][]

**(2)** 在DecisionTreeClassifier()方法中设置树的内部节点再划分所需要最小样本数min\_samples\_split

![20200810121143505.png][]

经过上述的两个参数的修改，可以将评分从50%提高到80%左右，和之前使用逻辑回归得到的评价差不多：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 19][]

**2020-08-10 更新**

[20200810114437366.png]: /images/20221124/48ad1dd23bd04008a41c3e7cde28719c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70]: /images/20221124/29345b2cf8664cc285000eae32062e92.png
[20200810114515812.png]: /images/20221124/082094a718a740bfa587c74f25e9d910.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 1]: /images/20221124/ca28c8f6f32b4696ab2af9861cf73f06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 2]: /images/20221124/d5792d7a6009479b8419db92c1b7c5a0.png
[20200810114655725.png]: /images/20221124/d24a6914d4b643af9d2b0bd7a3b8eca5.png
[20200810114729159.png]: /images/20221124/c54c3e3f8cb84c73a93c475ee73c5d44.png
[20200810114757217.png]: /images/20221124/7f978a61cb464ad98a84fe2af44d6848.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 3]: /images/20221124/db0ac3f548f14fe4a203d32086edac71.png
[20200810114859987.png]: /images/20221124/ba70b5ac8f2e4d8e875530a1fed9d5b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 4]: /images/20221124/5e13e0e764a84915ae58c30fb255345b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 5]: /images/20221124/883bc66226644f0cb3873b2e25290c6f.png
[20200810115007614.png]: /images/20221124/d0525d1dc90d4f32b9a69d71194a90f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 6]: /images/20221124/7aa0fd27b61242eeb649e15095ac51cb.png
[20200810115052407.png]: /images/20221124/531d3fd7b790447293be873699d60140.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 7]: /images/20221124/f89f2c29c6084458b9b5079dd2bc0170.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 8]: /images/20221124/911ff47d8f144961bdfb4b12a4ce5e8f.png
[20200810115314961.png]: /images/20221124/1ea2ff915d034b1788efdecd7a0eded8.png
[20200810115331140.png]: /images/20221124/62b75fdd29f347c0952d907d918eff1c.png
[20200810115351949.png]: /images/20221124/6cf325d16c284a189566f7b5edb9a272.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 9]: /images/20221124/b80d9c82adb541509cab060acd523b8f.png
[20200810115421864.png]: /images/20221124/45f3ed357e5942ca8312ceec853fafdd.png
[20200810115436562.png]: /images/20221124/0b8dde5807464349a848bf973b42993e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 10]: /images/20221124/63affcc44cf14886a3b9d0545a4e1221.png
[20200810115507773.png]: /images/20221124/9486d9f2be244dbcbfb4fa28c6e8314e.png
[20200810115531890.png]: /images/20221124/8c616834299543499b0947caa3f5c1e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 11]: /images/20221124/6cbb969218fb492baa2f49617cad3c78.png
[20200810115604829.png]: /images/20221124/e87bb1941f2b4a7db54e0716aa1d54f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 12]: /images/20221124/156bacf9c8d34bae9cc71c7ddca655f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 13]: /images/20221124/48a3943cffd24ec5acd3a953cbd037fc.png
[20200810120032816.png]: /images/20221124/00cc6cbb12eb4e1ab95bc4bb6d1a6fd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 14]: /images/20221124/2214f690c8684d07bf0c52bb12a482b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 15]: /images/20221124/6a18f5f93022434e94ba8e922a8d4ca9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 16]: /images/20221124/c209ff4ab73d40879901ecba9b8817f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 17]: /images/20221124/dbdc3c9469a6475fadb17acaa19c8586.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 18]: /images/20221124/892ab4b30aaf44a8a9fe91617a4be8ce.png
[20200810121027936.png]: /images/20221124/360258f10fda4b23a3d59056d82dfdb8.png
[20200810121046744.png]: /images/20221124/1867b69559314f1abfd0aa2c77b072ec.png
[20200810121125538.png]: /images/20221124/69b86b8c41444d3cb593d1e5c2ebe477.png
[20200810121143505.png]: /images/20221124/4595d308d1694121bba1c45a688e35e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2xpbmZlbmc_size_16_color_FFFFFF_t_70 19]: /images/20221124/73205fee3c374eaa9de2bcde76073f24.png