随机森林RF模型超参数的优化：Python实现

超、凢脫俗 2024-03-16 12:29 62阅读 0赞

本文介绍基于**Python**的**随机森林**（Random Forest，**RF**）回归代码，以及模型**超参数**（包括决策树个数与最大深度、最小分离样本数、最小叶子节点样本数、最大分离特征数等）**自动优化**的代码。

本文是在上一篇文章[Python实现随机森林RF并对比自变量的重要性][Python_RF]的基础上完成的，因此本次仅对**随机森林模型超参数自动择优**部分的代码加以详细解释；而**数据准备**、**模型建立**、**精度评定**等其他部分的代码详细解释，大家直接点击上述文章[Python实现随机森林RF并对比自变量的重要性][Python_RF]查看即可。

其中，关于基于**MATLAB**实现同样过程的代码与实战，大家可以点击查看文章[MATLAB实现随机森林（RF）回归与自变量影响程度分析][MATLAB_RF]。

本文分为两部分，第一部分为代码的分段讲解，第二部分为完整代码。

## 1 代码分段讲解 ##

### 1.1 数据与模型准备 ###

本部分是对随机森林算法的**数据与模型准备**，由于在之前的博客中已经详细介绍过了，本文就不再赘述~大家直接查看文章[Python实现随机森林RF并对比自变量的重要性][Python_RF]即可。

import pydot
    import numpy as np
    import pandas as pd
    import scipy.stats as stats
    import matplotlib.pyplot as plt
    from pprint import pprint
    from sklearn import metrics
    from openpyxl import load_workbook
    from sklearn.tree import export_graphviz
    from sklearn.ensemble import RandomForestRegressor
    from sklearn.model_selection import GridSearchCV
    from sklearn.model_selection import RandomizedSearchCV
    
    # Attention! Data Partition
    # Attention! One-Hot Encoding
    
    train_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Train.csv'
    test_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Test.csv'
    write_excel_path='G:/CropYield/03_DL/05_NewML/ParameterResult_ML.xlsx'
    tree_graph_dot_path='G:/CropYield/03_DL/05_NewML/tree.dot'
    tree_graph_png_path='G:/CropYield/03_DL/05_NewML/tree.png'
    
    random_seed=44
    random_forest_seed=np.random.randint(low=1,high=230)
    
    # Data import
    
    train_data=pd.read_csv(train_data_path,header=0)
    test_data=pd.read_csv(test_data_path,header=0)
    
    # Separate independent and dependent variables
    
    train_Y=np.array(train_data['Yield'])
    train_X=train_data.drop(['ID','Yield'],axis=1)
    train_X_column_name=list(train_X.columns)
    train_X=np.array(train_X)
    
    test_Y=np.array(test_data['Yield'])
    test_X=test_data.drop(['ID','Yield'],axis=1)
    test_X=np.array(test_X)

### 1.2 超参数范围给定 ###

首先，我们需要对随机森林模型超参数各自的范围加以确定，之后我们将在这些范围内确定各个超参数的最终最优取值。换句话说，我们现在先**给每一个需要择优的超参数划定一个很大很大的范围**（例如对于“决策树个数”这个超参数，我们可以将其范围划定在`10`到`5000`这样一个很大的范围），然后后期将用择优算法在每一个超参数的这个范围内进行搜索。

在此，我们**先要确定对哪些超参数进行择优**。本文选择在随机森林算法中比较重要的几个超参数进行调优，分别是：决策树个数`n_estimators`，决策树最大深度`max_depth`，最小分离样本数（即拆分决策树节点所需的最小样本数）`min_samples_split`，最小叶子节点样本数（即一个叶节点所需包含的最小样本数）`min_samples_leaf`，最大分离特征数（即寻找最佳节点分割时要考虑的特征变量数量）`max_features`，以及是否进行随机抽样`bootstrap`等六种。关于上述超参数如果大家不是太了解具体的含义，可以查看文章[Python实现随机森林RF并对比自变量的重要性][Python_RF]的**1.5**部分，可能就会比较好理解了（不过其实不理解也不影响接下来的操作）。

这里提一句，其实随机森林的超参数并不止上述这些，我这里也是结合数据情况与最终的精度需求，选择了相对比较常用的几个超参数；大家依据各自实际需要，选择需要调整的超参数，并用同样的代码思路执行即可。

# Search optimal hyperparameter
    
    n_estimators_range=[int(x) for x in np.linspace(start=50,stop=3000,num=60)]
    max_features_range=['auto','sqrt']
    max_depth_range=[int(x) for x in np.linspace(10,500,num=50)]
    max_depth_range.append(None)
    min_samples_split_range=[2,5,10]
    min_samples_leaf_range=[1,2,4,8]
    bootstrap_range=[True,False]
    
    random_forest_hp_range={'n_estimators':n_estimators_range,
                            'max_features':max_features_range,
                            'max_depth':max_depth_range,
                            'min_samples_split':min_samples_split_range,
                            'min_samples_leaf':min_samples_leaf_range
                            # 'bootstrap':bootstrap_range
                            }
    pprint(random_forest_hp_range)

可以看到，上述代码首先是对六种超参数划定了一个范围，然后将其分别存入了一个超参数范围字典`random_forest_hp_range`。在这里大家可以看到，我在存入字典时，将`bootstrap`的范围这一句注释掉了，这是由于当时运行后我发现`bootstrap`还是处于`True`这个状态比较好（也就是得到的结果精度比较高），因此就取消了这一超参数的择优；大家依据个人数据与模型的实际情况来即可~

我们可以看一下`random_forest_hp_range`变量的取值情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70][]

没错，它是一个字典，键就是超参数的名称，值就是超参数的范围。因为我将`bootstrap`注释掉了，因此这个字典里就没有`bootstrap`这一项了~

### 1.3 超参数随机匹配择优 ###

上面我们确定了每一种超参数各自的范围，那么接下来我们就将他们**分别组合**，**对比每一个超参数取值组合所得到的模型结果**，从而确定最优超参数组合。

其实大家会发现，我们上面划定六种超参数（除去我后来删除的`bootstrap`的话是五种），如果按照排列组合来计算的话，会有很多很多种组合方式，如果要一一尝试未免也太麻烦了。因此，我们用到`RandomizedSearchCV`这一功能——其将随机匹配每一种超参数组合，并输出最优的组合。换句话说，我们用`RandomizedSearchCV`来进行随机的排列，而不是对所有的超参数排列组合方法进行遍历。这样子确实可以节省很多时间。

random_forest_model_test_base=RandomForestRegressor()
    random_forest_model_test_random=RandomizedSearchCV(estimator=random_forest_model_test_base,
                                                       param_distributions=random_forest_hp_range,
                                                       n_iter=200,
                                                       n_jobs=-1,
                                                       cv=3,
                                                       verbose=1,
                                                       random_state=random_forest_seed
                                                       )
    random_forest_model_test_random.fit(train_X,train_Y)
    
    best_hp_now=random_forest_model_test_random.best_params_
    pprint(best_hp_now)

由代码可以看到，我们首先建立一个随机森林模型`random_forest_model_test_base`，并将其带入到`RandomizedSearchCV`中；其中，`RandomizedSearchCV`的参数组合就是刚刚我们看的`random_forest_hp_range`，`n_iter`就是具体随机搭配超参数组合的次数（这个次数因此肯定是越大涵盖的组合数越多，效果越好，但是也越费时间），`cv`是交叉验证的折数（`RandomizedSearchCV`衡量每一种组合方式的效果就是用交叉验证来进行的），`n_jobs`与`verbose`是关于模型线程、日志相关的信息，大家不用太在意，`random_state`是随机森林中随机抽样的随机数种子。

之后，我们对`random_forest_model_test_random`加以训练，并获取其所得到的最优超参数匹配组合`best_hp_now`。在这里，模型的训练次数就是`n_iter`与`cv`的乘积（因为交叉验证有几折，那么就需要运行几次；而一共有`n_iter`个参数匹配组合，因此总次数就是二者相乘）。例如，用上述代码那么一共就需要运行`600`次。运行过程在程序中将自动显示，如下图。

![20210424133541983.png][]

可以看到，一共有`600`次`fit`，我这里共花了`11.7min`完成。具体速度和电脑配置、自变量与因变量数据量大小，以及电脑此时内存等等都有关。

运行完毕，我们来看看找到的最有超参数组合`best_hp_now`。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 1][]

可以看到，经过`200`种组合匹配方式的计算，目前五种超参数最优的组合搭配方式已经得到了。其实每一次得到的超参数最优组合结果差距也是蛮大的——例如同一批数据，有的时候我得到的`n_estimators`最优值是如图所示的`100`，有的时候也会是`2350`；所以大家依据实际情况来判断即可~

那么接下来，我们就继续对这一`best_hp_now`所示的结果进行更进一步的择优。

### 1.4 超参数遍历匹配择优 ###

刚刚我们基于`RandomizedSearchCV`，实现了`200`次的超参数**随机匹配与择优**；但是此时的结果是一个随机不完全遍历后所得的结果，因此其最优组合可能并不是全局最优的，而只是一个大概的最优范围。因此接下来，我们需要依据上述所得到的随机最优匹配结果，进行**遍历全部组合的匹配择优**。

遍历匹配即在随机匹配最优结果的基础上，在其临近范围内选取几个数值，并通过`GridSearchCV`对每一种匹配都遍历，从而选出比较好的超参数最终取值结果。

# Grid Search
    
    random_forest_hp_range_2={'n_estimators':[60,100,200],
                              'max_features':[12,13],
                              'max_depth':[350,400,450],
                              'min_samples_split':[2,3] # Greater than 1
                              # 'min_samples_leaf':[1,2]
                              # 'bootstrap':bootstrap_range
                              }
    random_forest_model_test_2_base=RandomForestRegressor()
    random_forest_model_test_2_random=GridSearchCV(estimator=random_forest_model_test_2_base,
                                                   param_grid=random_forest_hp_range_2,
                                                   cv=3,
                                                   verbose=1,
                                                   n_jobs=-1)
    random_forest_model_test_2_random.fit(train_X,train_Y)
    
    best_hp_now_2=random_forest_model_test_2_random.best_params_
    pprint(best_hp_now_2)

大家可以看到，本部分代码其实和**1.3**部分比较类似。我们着重讲解`random_forest_hp_range_2`。其中，`n_estimators`设定为了`[60,100,200]`，这是由于我们刚刚得到的`best_hp_now`中`n_estimators`为`100`，那么我们就在`100`附近选取几个值，作为新的`n_estimators`范围；`max_features`也是一样的，因为`best_hp_now`中`max_features`为`'sqrt'`，也就是输入数据特征（自变量）的个数的平方根，而我这里自变量个数大概是`150`多个，因此其开平方之后就是`12.24`左右，那么就选择其附近的两个数（需要为整数），因此就选择了`[12,13]`。其他的超参数取值也是类似的。这里我将`'min_samples_leaf'`也给注释掉了是因为我跑了很多次发现，`'min_samples_leaf'`还是取`1`最好，那么就直接选择为默认`1`（`'min_samples_leaf'`在不指定的情况下默认为`1`）即可，因为超参数范围越小，程序跑的就越快。

这里程序运行的次数就是每一种超参数取值个数的排列组合次数乘以交叉验证的折数，也就是`(2*3*2*3)*3=108`次，我们来看看是不是`108`次：

![20210424135648972.png][]

很明显，没有问题，就是`108`个`fit`。和前面的`600`次`fit`比起来，这样就快很多了（这也是为什么我直接将`'min_samples_leaf'`与`'bootstrap'`注释掉的原因；要是这两个超参数也参与的话，那么假设他们两个各有`2`个取值的话，总时间至少就要翻`2*2=4`倍）。

再来看看经过遍历择优后的最优超参数匹配取值`best_hp_now_2`。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 2][]

以上就是我们经过一次随机择优、一次遍历择优之后的超参数结果（不要忘记了`'min_samples_leaf'`与`'bootstrap'`还要分别取`1`和`True`，也就是默认值）。如果大家感觉这个组合搭配还不是很好，那么可以继续执行本文“**1.4 超参数遍历匹配择优**”部分1到2次，精度可能会有更进一步的提升。

### 1.5 模型运行与精度评定 ###

结束了上述超参数择优过程，我们就可以进行**模型运行**、**精度评定与结果输出**等操作。本部分内容除了第一句代码（将最优超参数组合分配给模型）之外，其余部分由于在之前的博客中已经详细介绍过了，本文就不再赘述~大家直接查看文章[Python实现随机森林RF并对比自变量的重要性][Python_RF]即可。

# Build RF regression model with optimal hyperparameters
    
    random_forest_model_final=random_forest_model_test_2_random.best_estimator_
    
    # Predict test set data
    
    random_forest_predict=random_forest_model_test_2_random.predict(test_X)
    random_forest_error=random_forest_predict-test_Y
    
    # Draw test plot
    
    plt.figure(1)
    plt.clf()
    ax=plt.axes(aspect='equal')
    plt.scatter(test_Y,random_forest_predict)
    plt.xlabel('True Values')
    plt.ylabel('Predictions')
    Lims=[0,10000]
    plt.xlim(Lims)
    plt.ylim(Lims)
    plt.plot(Lims,Lims)
    plt.grid(False)
        
    plt.figure(2)
    plt.clf()
    plt.hist(random_forest_error,bins=30)
    plt.xlabel('Prediction Error')
    plt.ylabel('Count')
    plt.grid(False)
    
    # Verify the accuracy
    
    random_forest_pearson_r=stats.pearsonr(test_Y,random_forest_predict)
    random_forest_R2=metrics.r2_score(test_Y,random_forest_predict)
    random_forest_RMSE=metrics.mean_squared_error(test_Y,random_forest_predict)**0.5
    print('Pearson correlation coefficient is {0}, and RMSE is {1}.'.format(random_forest_pearson_r[0],
                                                                            random_forest_RMSE))
    
    # Save key parameters
    
    excel_file=load_workbook(write_excel_path)
    excel_all_sheet=excel_file.sheetnames
    excel_write_sheet=excel_file[excel_all_sheet[0]]
    excel_write_sheet=excel_file.active
    max_row=excel_write_sheet.max_row
    excel_write_content=[random_forest_pearson_r[0],random_forest_R2,random_forest_RMSE,
                         random_seed,random_forest_seed]
    for i in range(len(excel_write_content)):
            exec("excel_write_sheet.cell(max_row+1,i+1).value=excel_write_content[i]")
    excel_file.save(write_excel_path)
    
    # Draw decision tree visualizing plot
    
    random_forest_tree=random_forest_model_final.estimators_[5]
    export_graphviz(random_forest_tree,out_file=tree_graph_dot_path,
                    feature_names=train_X_column_name,rounded=True,precision=1)
    (random_forest_graph,)=pydot.graph_from_dot_file(tree_graph_dot_path)
    random_forest_graph.write_png(tree_graph_png_path)
    
    # Calculate the importance of variables
    
    random_forest_importance=list(random_forest_model_final.feature_importances_)
    random_forest_feature_importance=[(feature,round(importance,8)) 
                                      for feature, importance in zip(train_X_column_name,
                                                                     random_forest_importance)]
    random_forest_feature_importance=sorted(random_forest_feature_importance,key=lambda x:x[1],reverse=True)
    plt.figure(3)
    plt.clf()
    importance_plot_x_values=list(range(len(random_forest_importance)))
    plt.bar(importance_plot_x_values,random_forest_importance,orientation='vertical')
    plt.xticks(importance_plot_x_values,train_X_column_name,rotation='vertical')
    plt.xlabel('Variable')
    plt.ylabel('Importance')
    plt.title('Variable Importances')

## 2 完整代码 ##

本文所用完整代码如下。

# -*- coding: utf-8 -*-
    """
    Created on Sun Mar 21 22:05:37 2021
    
    @author: fkxxgis
    """
    
    import pydot
    import numpy as np
    import pandas as pd
    import scipy.stats as stats
    import matplotlib.pyplot as plt
    from pprint import pprint
    from sklearn import metrics
    from openpyxl import load_workbook
    from sklearn.tree import export_graphviz
    from sklearn.ensemble import RandomForestRegressor
    from sklearn.model_selection import GridSearchCV
    from sklearn.model_selection import RandomizedSearchCV
    
    # Attention! Data Partition
    # Attention! One-Hot Encoding
    
    train_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Train.csv'
    test_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Test.csv'
    write_excel_path='G:/CropYield/03_DL/05_NewML/ParameterResult_ML.xlsx'
    tree_graph_dot_path='G:/CropYield/03_DL/05_NewML/tree.dot'
    tree_graph_png_path='G:/CropYield/03_DL/05_NewML/tree.png'
    
    random_seed=44
    random_forest_seed=np.random.randint(low=1,high=230)
    
    # Data import
    
    train_data=pd.read_csv(train_data_path,header=0)
    test_data=pd.read_csv(test_data_path,header=0)
    
    # Separate independent and dependent variables
    
    train_Y=np.array(train_data['Yield'])
    train_X=train_data.drop(['ID','Yield'],axis=1)
    train_X_column_name=list(train_X.columns)
    train_X=np.array(train_X)
    
    test_Y=np.array(test_data['Yield'])
    test_X=test_data.drop(['ID','Yield'],axis=1)
    test_X=np.array(test_X)
    
    # Search optimal hyperparameter
    
    n_estimators_range=[int(x) for x in np.linspace(start=50,stop=3000,num=60)]
    max_features_range=['auto','sqrt']
    max_depth_range=[int(x) for x in np.linspace(10,500,num=50)]
    max_depth_range.append(None)
    min_samples_split_range=[2,5,10]
    min_samples_leaf_range=[1,2,4,8]
    bootstrap_range=[True,False]
    
    random_forest_hp_range={'n_estimators':n_estimators_range,
                            'max_features':max_features_range,
                            'max_depth':max_depth_range,
                            'min_samples_split':min_samples_split_range,
                            'min_samples_leaf':min_samples_leaf_range
                            # 'bootstrap':bootstrap_range
                            }
    pprint(random_forest_hp_range)
    
    random_forest_model_test_base=RandomForestRegressor()
    random_forest_model_test_random=RandomizedSearchCV(estimator=random_forest_model_test_base,
                                                       param_distributions=random_forest_hp_range,
                                                       n_iter=200,
                                                       n_jobs=-1,
                                                       cv=3,
                                                       verbose=1,
                                                       random_state=random_forest_seed
                                                       )
    random_forest_model_test_random.fit(train_X,train_Y)
    
    best_hp_now=random_forest_model_test_random.best_params_
    pprint(best_hp_now)
    
    # Grid Search
    
    random_forest_hp_range_2={'n_estimators':[60,100,200],
                              'max_features':[12,13],
                              'max_depth':[350,400,450],
                              'min_samples_split':[2,3] # Greater than 1
                              # 'min_samples_leaf':[1,2]
                              # 'bootstrap':bootstrap_range
                              }
    random_forest_model_test_2_base=RandomForestRegressor()
    random_forest_model_test_2_random=GridSearchCV(estimator=random_forest_model_test_2_base,
                                                   param_grid=random_forest_hp_range_2,
                                                   cv=3,
                                                   verbose=1,
                                                   n_jobs=-1)
    random_forest_model_test_2_random.fit(train_X,train_Y)
    
    best_hp_now_2=random_forest_model_test_2_random.best_params_
    pprint(best_hp_now_2)
    
    # Build RF regression model with optimal hyperparameters
    
    random_forest_model_final=random_forest_model_test_2_random.best_estimator_
    
    # Predict test set data
    
    random_forest_predict=random_forest_model_test_2_random.predict(test_X)
    random_forest_error=random_forest_predict-test_Y
    
    # Draw test plot
    
    plt.figure(1)
    plt.clf()
    ax=plt.axes(aspect='equal')
    plt.scatter(test_Y,random_forest_predict)
    plt.xlabel('True Values')
    plt.ylabel('Predictions')
    Lims=[0,10000]
    plt.xlim(Lims)
    plt.ylim(Lims)
    plt.plot(Lims,Lims)
    plt.grid(False)
        
    plt.figure(2)
    plt.clf()
    plt.hist(random_forest_error,bins=30)
    plt.xlabel('Prediction Error')
    plt.ylabel('Count')
    plt.grid(False)
    
    # Verify the accuracy
    
    random_forest_pearson_r=stats.pearsonr(test_Y,random_forest_predict)
    random_forest_R2=metrics.r2_score(test_Y,random_forest_predict)
    random_forest_RMSE=metrics.mean_squared_error(test_Y,random_forest_predict)**0.5
    print('Pearson correlation coefficient is {0}, and RMSE is {1}.'.format(random_forest_pearson_r[0],
                                                                            random_forest_RMSE))
    
    # Save key parameters
    
    excel_file=load_workbook(write_excel_path)
    excel_all_sheet=excel_file.sheetnames
    excel_write_sheet=excel_file[excel_all_sheet[0]]
    excel_write_sheet=excel_file.active
    max_row=excel_write_sheet.max_row
    excel_write_content=[random_forest_pearson_r[0],random_forest_R2,random_forest_RMSE,
                         random_seed,random_forest_seed]
    for i in range(len(excel_write_content)):
            exec("excel_write_sheet.cell(max_row+1,i+1).value=excel_write_content[i]")
    excel_file.save(write_excel_path)
    
    # Draw decision tree visualizing plot
    
    random_forest_tree=random_forest_model_final.estimators_[5]
    export_graphviz(random_forest_tree,out_file=tree_graph_dot_path,
                    feature_names=train_X_column_name,rounded=True,precision=1)
    (random_forest_graph,)=pydot.graph_from_dot_file(tree_graph_dot_path)
    random_forest_graph.write_png(tree_graph_png_path)
    
    # Calculate the importance of variables
    
    random_forest_importance=list(random_forest_model_final.feature_importances_)
    random_forest_feature_importance=[(feature,round(importance,8)) 
                                      for feature, importance in zip(train_X_column_name,
                                                                     random_forest_importance)]
    random_forest_feature_importance=sorted(random_forest_feature_importance,key=lambda x:x[1],reverse=True)
    plt.figure(3)
    plt.clf()
    importance_plot_x_values=list(range(len(random_forest_importance)))
    plt.bar(importance_plot_x_values,random_forest_importance,orientation='vertical')
    plt.xticks(importance_plot_x_values,train_X_column_name,rotation='vertical')
    plt.xlabel('Variable')
    plt.ylabel('Importance')
    plt.title('Variable Importances')

[Python_RF]: https://www.cnblogs.com/fkxxgis/p/17122047.html
[MATLAB_RF]: https://www.cnblogs.com/fkxxgis/p/17095368.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/976319c8e65d488a9e065155eb308979.png
[20210424133541983.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/620d9efe9089433aadf5694a15d8a215.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0c50d8889f884b8a8718f54a094f59e9.png
[20210424135648972.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/32eea74f6fef47e3bb3952491378474c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZWJ1c2hpYmlhb3NoaWZ1_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9ce1d4c0a0e44614b9f166906141e1cd.png