【机器学习】浙工商机器学习实验指导（一）

青旅半醒 2023-09-27 15:00 129阅读 0赞

#### 文章目录 ####

*  一、实验一：线性回归算法实验
 *   *  1.1 算法引入
     *  1.2 模拟数据实验
     *  1.3 Boston 数据实验
 *  二、实验二：SVM算法
 *   *  2.1 算法介绍
     *  2.2 鸢尾花数据实验
 *  三、实验三：集成学习一
 *   *  3.1 简单介绍
     *  3.2 Breast Cancer 数据实验
     *  3.3 Boston 数据实验
 *  四、实验四：集成学习二
 *   *  4.1 简单介绍
     *  4.2 Titanic 数据实验
 *  五、实验五：贝叶斯学习算法实践
 *   *  5.1 简单介绍
     *  5.2 数据实验
 *  六、实验六：聚类算法
 *   *  6.1 简单介绍
     *  6.2 鸢尾花数据实验
     *  6.3 算法参数影响探究
 *  七、实验七：降维算法
 *   *  7.1 简单介绍
     *  7.2 模拟数据实验
     *  7.3 Breast cancer数据实验

## 一、实验一：线性回归算法实验 ##

### 1.1 算法引入 ###

简单介绍 OLS,岭回归以及 Lars 三种线性回归算法

### 1.2 模拟数据实验 ###

1.  数据生成：按照有无共线性，有无噪声生成四组模拟数据（数据维度自定义）。-----同时，模拟数据可参考：Sayan Mukherjee and Dingxuan Zhou.《learning coordinate covariancs via gradients》一文中 5.1 节的模拟数据，或者其他自定义数据。
2.  分别利用三种算法对四组模拟数据建立线性回归模型，并利用R2、MSE 和 MAE 等指标评价模型性能，从而对比三种算法的性能，分析三种算法在线性回归中的优缺点以及不同的作用。
3.  对 1 中同一数据进行多次采样，每次采样后使用 Lars 算法进行变量选择，进而探索 Lars 算法在变量选择中的稳定性—即每次所选变量的相同或者不同情况，并进行变量选择前后回归学习效果的对比。

### 1.3 Boston 数据实验 ###

1.  对 Boston 房价数据进行探
2.  数据的预处理：归一化，缺失值处理等；
3.  数据的特征工程：特征选择、增加特征等；
4.  对三种算法在该数据上的性能进行分析。

## 二、实验二：SVM算法 ##

### 2.1 算法介绍 ###

简单介绍线性可分支持向量机和非线性支持向量机的原理。

### 2.2 鸢尾花数据实验 ###

iris—UCI 网站或者 python 自带有这个数据集。

1.  对鸢尾花数据集进行探索性分析
2.  对数据集的预处理：离群值、标准化处理等
3.  选取合适的标价指标，对比分析线性支持向量机和非线性支持向量机的性能。其中，非线性支持向量机采用高斯核、多项式核两种核函数
4.  探索正则化参数以及两个核函数参数（多项式函数阶数、高斯核尺度参数）对分类结果的影响
5.  通过实验结果对比不同寻找最优超参数方法

## 三、实验三：集成学习一 ##

### 3.1 简单介绍 ###

简单介绍 AdaBoost 和 Random Forest 算法的原理

### 3.2 Breast Cancer 数据实验 ###

1.  对 Breast Cancer 数据进行探索性数据分析
2.  数据预处理
3.  分别以决策树、逻辑回归、SVM 为基函数，利用网格搜索等方法寻找不同基函数下 AdaBoost 算法的最优参数。利用 Precision、Recall、F1 和 Auc 等指标评价模型，探究和对比不同基函数下的AdaBoost 算法性能
4.  对比以决策树为基函数的 AdaBoost、Random Forest 以及 Lars算法在 Breast Cancer 分类数据上的重要特征，得出影响 Breast Cancer分类的关键因素

### 3.3 Boston 数据实验 ###

1.  对 Boston 房价数据进行探索性分析
2.  数据预处理
3.  以 R2、MSE、MAE 等指标为评价标准，探究 Random Forest算法的参数对模型性能的影响
4.  对单棵决策树以及以决策树为基函数的集成算法(AdaBoost，Random Forest)进行性能对比，探索相较于单模型而言，集成学习的特点

## 四、实验四：集成学习二 ##

### 4.1 简单介绍 ###

简单介绍 GBDT 和 XGBoost 算法的原理。

### 4.2 Titanic 数据实验 ###

1.  对 Titanic 数据进行探索性分析
2.  数据预处理：缺失值处理、哑变量处理、分箱操作等
3.  特征工程：特征提取、特征生成等
4.  以 Precision、Recall、F1 和 Auc 等指标为评价标准，利用网格搜索等方法找到合适的模型参数，探究并比较 AdaBoost、GBDT、XGBoost 和 Random Forest 集成算法的性能

## 五、实验五：贝叶斯学习算法实践 ##

### 5.1 简单介绍 ###

### 5.2 数据实验 ###

## 六、实验六：聚类算法 ##

### 6.1 简单介绍 ###

简单介绍K-means、层次聚类，DBSCAN 和密度峰值聚类(DPC)算法的原理

### 6.2 鸢尾花数据实验 ###

1.  对鸢尾花数据集进行探索性分析与预处理
2.  选取兰德系数和轮廓系数作为评价指标，对四种算法在该数据集上的性能进行分析

### 6.3 算法参数影响探究 ###

1.  介绍三种算法中的几个主要参数（K-Means 中的 k 参数、DBSCAN 中的 eps 与 min\_samples 参数、DPC 中的 t0参数–t0 的含义为圆中样本个数占数据集总样本数的比例）
2.  以鸢尾花数据为例，选取合适的评价指标，探究 K-Means 算法中 k 参数对算法的性能影响，并尝试找出确定 k 参数的方法
3.  以模拟数据为例(如：高斯分布数据集，Spiral 数据集，Circle数据集)，选取合适的评价指标，探究另外三个参数（eps 与min\_samples、t0）对各自算法的性能影响

## 七、实验七：降维算法 ##

### 7.1 简单介绍 ###

简单介绍维数约简的概念和PCA、KPCA以及LLE算法的原理

### 7.2 模拟数据实验 ###

1.  模拟环形数据
2.  利用PCA、KPCA和LLE算法分别对模拟数据进行处理，借助图形可视化，对比不同降维算法在环形数据上的效果

### 7.3 Breast cancer数据实验 ###

1.  Breast Cancer数据探索性分析
2.  分别用PCA、KPCA和LLE算法对Breast的特征进行降维
3.  对降维后的数据进行可视化，并对降维处理后的数据和原始数据分别建立SVM模型，对比降维处理后模型性能的变化，理解降维对建模的意义