二、Sklearn数据预处理

港控/mmm° 2023-08-17 17:21 89阅读 0赞

**目录**

一、sklearn中的数据预处理和特征工程

二、数据预处理 Preprocessing & Impute

1、数据无量纲化

（1）preprocessing.MinMaxScaler 数据归一化

（2）preprocessing.StandardScaler 数据标准化

（3）归一化和标准化对NaN的处理

（4）StandardScaler和MinMaxScaler选哪个？

2、缺失值

（1）impute.SimpleImputer

3、处理分类型特征：编码与哑变量

（1）preprocessing.LabelEncoder

（2）preprocessing.OrdinalEncoder

（3）preprocessing.OneHotEncoder

4、处理连续型特征：二值化与分段

（1）sklearn.preprocessing.Binarizer

（2）preprocessing.KBinsDiscretizer

--------------------

# 一、sklearn中的数据预处理和特征工程 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

*  模块 **preprocessing**：几乎包含数据预处理的所有内容
 *  模块 **Impute**：填补缺失值专用
 *  模块 **feature\_selection**：包含特征选择的各种方法的实践
 *  模块 **decomposition**：包含降维算法

# 二、数据预处理 Preprocessing & Impute #

## 1、数据无量纲化 ##

将**不同规格的数据转换到同一规格**，或**不同分布的数据转换到某个特定分布**的需求，这种需求统称为将数据**“无量纲化”**。

数据的无量纲化**可以是线性的，也可以是非线性的**。线性的无量纲化包括**中心化（Zero-centered或者Meansubtraction）处理和缩放处理（Scale）。**

**中心化的本质**是让所有记录减去一个固定值，即让数据样本数据**平移到某个位置**。

**缩放的本质**是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。

### （1）preprocessing.MinMaxScaler 数据归一化 ###

当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放（**即减去最小值，再除以极差**），数据移动了最小值个单位，并且会被**收敛到\[0,1\]之间**，而这个过程，就叫做**数据归一化(Normalization，又称Min-Max Scaling)。**

注意，Normalization是归一化，不是正则化，真正的正则化是regularization，不是数据预处理的一种手段。归一化之后的数据服从正态分布，公式如下：

![20191001005044381.png][]

在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数：

feature\_range，控制我们希望把数据压缩到的范围，默认是\[0,1\]。

from sklearn.preprocessing import MinMaxScaler
    data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
    #不太熟悉numpy的小伙伴，能够判断data的结构吗？
    #如果换成表是什么样子？
    import pandas as pd
    pd.DataFrame(data)
    #实现归一化
    scaler = MinMaxScaler() #实例化
    scaler = scaler.fit(data) #fit，在这里本质是生成min(x)和max(x)
    result = scaler.transform(data) #通过接口导出结果
    result
    result_ = scaler.fit_transform(data) #训练和导出结果一步达成
    scaler.inverse_transform(result) #将归一化后的结果逆转,返回归一化之前的数据
    #使用MinMaxScaler的参数feature_range实现将数据归一化到[0,1]以外的范围中
    data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
    scaler = MinMaxScaler(feature_range=[5,10]) #依然实例化
    result = scaler.fit_transform(data) #fit_transform一步导出结果
    result
    #当X中的特征数量非常多的时候，fit会报错并表示，数据量太大了我计算不了
    #此时使用partial_fit作为训练接口
    #scaler = scaler.partial_fit(data)

### （2）preprocessing.StandardScaler 数据标准化 ###

当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放**（即减去平均值，再除以方差）**，数据就会服从为均值为0，方差为1的正态分布（即**标准正态分布**），而这个过程，就叫做**数据标准化(Standardization，又称Z-score normalization)**，公式如下

![20191001010417531.png][]

from sklearn.preprocessing import StandardScaler
    data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
    scaler = StandardScaler() #实例化
    scaler.fit(data) #fit，本质是生成均值和方差
    print(scaler.mean_ )#查看均值的属性mean_
    print(scaler.var_ )#查看方差的属性var_
    x_std = scaler.transform(data) #通过接口导出结果
    x_std.mean() #导出的结果是一个数组，用mean()查看均值
    x_std.std() #用std()查看方差
    scaler.fit_transform(data) #使用fit_transform(data)一步达成结果
    scaler.inverse_transform(x_std) #使用inverse_transform逆转标准化，返回标准化之前数据

### （3）归一化和标准化对NaN的处理 ###

对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在**fit的时候忽略**，在**transform的时候保持缺失NaN的状态显示**。

并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然**只允许导入至少二维数组，**一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。

### （4）StandardScaler和MinMaxScaler选哪个？ ###

看情况。**大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感**。

在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，**StandardScaler往往是最好的选择**。

MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如**数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于\[0,1\]区间之中**。

**建议先试试看StandardScaler，效果不好换MinMaxScaler。**

除了StandardScaler和MinMaxScaler之外，sklearn中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此sklearn不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用**MaxAbsScaler**；在异常值多，噪声非常大时，我们可能会选用**分位数**来无量纲化，此时使用**RobustScaler**。更多详情请参考以下列表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1][]

## 2、缺失值 ##

数据挖掘之中，常常会有重要的字段缺失值很多，但又不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。

在这里，我们使用从泰坦尼克号提取出来的数据，这个**数据有三个特征，一个数值型，两个字符型，标签也是字符型**。

### （1）impute.SimpleImputer ###

class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’, 
                                        fill_value=None, verbose=0,copy=True)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2][]

import pandas as pd
    # index_col 忽略 自带的列索引，否则原索引会当做一列
    # Embarked 登船舱门
    data = pd.read_csv(r"Narrativedata.csv", index_col=0)
    print(data.head())
    # data.info()
    #填补年龄
    Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是二维
    print(Age[:20])
    from sklearn.impute import SimpleImputer
    imp_mean = SimpleImputer() #实例化，默认均值填补
    imp_median = SimpleImputer(strategy="median") #用中位数填补
    imp_0 = SimpleImputer(strategy="constant",fill_value=0) #用0填补
    
    imp_mean = imp_mean.fit_transform(Age) #fit_transform一步完成调取结果
    imp_median = imp_median.fit_transform(Age)
    imp_0 = imp_0.fit_transform(Age)
    
    print(imp_mean[:20])
    print(imp_median[:20])
    print(imp_0[:20])
    
    #在这里我们使用中位数填补Age
    data.loc[:,"Age"] = imp_median
    # 查看数据信息，行数，列数，每一列缺失值等信息
    # data.info()
    
    #使用众数填补Embarked
    Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
    imp_mode = SimpleImputer(strategy = "most_frequent")
    data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)

**用Pandas和Numpy进行填补其实更加简单**

import pandas as pd
    # index_col 忽略 自带的列索引，否则原索引会当做一列
    # Embarked 登船舱门
    data = pd.read_csv(r"Narrativedata.csv", index_col=0)
    print(data.head())
    data.loc[:,"Age"] = data.loc[:,"Age"].fillna(data.loc[:,"Age"].median())
    #.fillna 在DataFrame里面直接进行填补
    data.dropna(axis=0,inplace=True)
    #.dropna(axis=0)删除所有有缺失值的行，.dropna(axis=1)删除所有有缺失值的列
    #参数inplace，为True表示在原数据集上进行修改，为False表示生成一个复制对象，不修改原数据，默认False

## 3、处理分类型特征：编码与哑变量 ##

在机器学习中**，大多数算法**，譬如逻辑回归，支持向量机SVM，k近邻算法等都只能够处理数值型数据，**不能处理文字**。

在sklearn当中，除了专用来处理文字的算法，其他算法在fit的时候全部要求输入数组或矩阵，也不能够导入文字型数据（其实手写决策树和普斯贝叶斯可以处理文字，但是sklearn中规定必须导入数值型）。

在现实中，许多标签和特征在数据收集完毕的时候，都不是以数字来表现的。比如说，学历的取值可以是\["小学"，“初中”，“高中”，"大学"\]，付费方式可能包含\["支付宝"，“现金”，“微信”\]等等。在这种情况下，为了让数据适应算法和库，**我们必须将数据进行编码，即是说，将文字型数据转换为数值型。**

### （1）preprocessing.LabelEncoder ###

**标签专用，**能够将**分类转换为分类数值**

import pandas as pd
    # index_col 忽略 自带的列索引，否则原索引会当做一列
    # Embarked 登船舱门
    data = pd.read_csv(r"Narrativedata.csv", index_col=0)
    print(data.head())
    
    from sklearn.preprocessing import LabelEncoder
    # 取标签列 Survived
    y = data.iloc[:,-1] #要输入的是标签，不是特征矩阵，所以允许一维
    le = LabelEncoder() #实例化
    le = le.fit(y) #导入数据
    label = le.transform(y) #transform接口调取结果
    print(le.classes_ )#属性.classes_查看标签中究竟有多少类别
    print(label) #查看获取的结果label
    le.fit_transform(y) #也可以直接fit_transform一步到位
    le.inverse_transform(label) #使用inverse_transform可以逆转
    
    data.iloc[:,-1] = label # 让标签等于我们运行出来的结果
    print(data.head())
    # 上述代码可以一行解决
    from sklearn.preprocessing import LabelEncoder
    data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])
        Age     Sex Embarked Survived
    # 0  22.0    male        S       No
    # 1  38.0  female        C      Yes
    # 2  26.0  female        S      Yes
    # 3  35.0  female        S      Yes
    # 4  35.0    male        S       No
    # ==================================
    #     Age     Sex Embarked  Survived
    # 0  22.0    male        S         0
    # 1  38.0  female        C         2
    # 2  26.0  female        S         2
    # 3  35.0  female        S         2
    # 4  35.0    male        S         0

### （2）preprocessing.OrdinalEncoder ###

**特征专用**，能够将**分类特征转换为分类数值**

### （3）preprocessing.OneHotEncoder ###

**独热编码，创建哑变量**

我们刚才已经用OrdinalEncoder把分类变量Sex和Embarked都转换成数字对应的类别了。在舱门Embarked这一  
列中，我们使用\[0,1,2\]代表了三个不同的舱门，然而这种转换是正确的吗？

我们来思考三种不同性质的分类数据：

**1） 舱门（S，C，Q）**

三种取值S，C，Q是**相互独立的，彼此之间完全没有联系**，表达的是S≠C≠Q的概念。这是名义变量。

**2） 学历（小学，初中，高中）**

三种取值**不是完全独立的**，我们可以明显看出，在性质上可以有高中>初中>小学这样的联系，学历有高低，但是学历取值之间却不是可以计算的，我们不能说小学 + 某个取值 = 初中。这是有序变量。

**3） 体重（>45kg，>90kg，>135kg）**

各个取值之间**有联系，且是可以互相计算的**，比如120kg - 45kg = 90kg，分类之间可以通过数学计算互相转换。这是有距变量。

然而在对特征进行编码的时候，这三种分类数据都会被我们转换为\[0,1,2\]，这三个数字在算法看来，是连续且可以计算的，这三个数字相互不等，有大小，并且有着可以相加相乘的联系。所以算法会把舱门，学历这样的分类特征，都误会成是体重这样的分类特征。**这是说，我们把分类转换成数字的时候，*忽略了数字中自带的数学性质*，所以给算法传达了一些*不准确的信息*，而这会影响我们的建模。**

类别**OrdinalEncoder可以用来处理有序变量**，但对于名义变量，我们只有使用哑变量的方式来处理，才能够尽量向算法传达最准确的信息：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3][]

这样的变化，让算法能够彻底领悟，原来三个取值是没有可计算性质的，是“有你就没有我”的不等概念。在我们的数据中，性别和舱门，都是这样的名义变量。因此我们需要使用独热编码，将两个特征都转换为哑变量

import pandas as pd
    # index_col 忽略 自带的列索引，否则原索引会当做一列
    # Embarked 登船舱门
    data = pd.read_csv(r"Narrativedata.csv", index_col=0)
    print(data.head())
    
    #填补年龄
    Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是二维
    from sklearn.impute import SimpleImputer
    imp_mean = SimpleImputer() #实例化，默认均值填补
    imp_median = SimpleImputer(strategy="median") #用中位数填补
    imp_0 = SimpleImputer(strategy="constant",fill_value=0) #用0填补
    
    imp_mean = imp_mean.fit_transform(Age) #fit_transform一步完成调取结果
    imp_median = imp_median.fit_transform(Age)
    imp_0 = imp_0.fit_transform(Age)
    
    #在这里我们使用中位数填补Age
    data.loc[:,"Age"] = imp_median
    # 查看数据信息，行数，列数，每一列缺失值等信息
    # data.info()
    
    #使用众数填补Embarked
    Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
    imp_mode = SimpleImputer(strategy = "most_frequent")
    data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)
    """ ========================================================"""
    from sklearn.preprocessing import OneHotEncoder
    # 取出的两列会生成一个五维的哑变量
    X = data.iloc[:,1:-1]
    # categories =auto自动去查看分类数
    enc = OneHotEncoder(categories='auto').fit(X)
    result = enc.transform(X).toarray()
    print(result)
    #依然可以直接一步到位，但为了给大家展示模型属性，所以还是写成了三步
    OneHotEncoder(categories='auto').fit_transform(X).toarray()
    #依然可以还原
    pd.DataFrame(enc.inverse_transform(result))
    # 得到哑变量的分类编号
    print(enc.get_feature_names())
    print(result)
    print(result.shape)
    # 将哑变量合并到原数据
    # axis=1,表示跨行进行合并，也就是将量表左右相连，如果是axis=0，就是将量表上下相连
    newdata = pd.concat([data,pd.DataFrame(result)],axis=1)
    print(newdata.head())
    # 删除用来生成哑变量的两列
    newdata.drop(["Sex","Embarked"],axis=1,inplace=True)
    # 重命名列名
    newdata.columns =["Age","Survived","Female","Male","Embarked_C","Embarked_Q","Embarked_S"]
    print(newdata.head())

特征可以做哑变量，标签也可以吗？可以，使用类sklearn.preprocessing.LabelBinarizer可以对做哑变量，许多算法都可以处理多标签问题（比如说决策树），但是这样的做法在现实中不常见，因此我们在这里就不赘述了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4][]

## 4、处理连续型特征：二值化与分段 ##

### （1）sklearn.preprocessing.Binarizer ###

**根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量**。**大于阈值的值映射为1，而小于或等于阈值的值映射为0。**

**默认阈值为0时，特征中所有的正值都映射到1。**二值化是对**文本计数数据的常见操作**，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶斯设置中的伯努利分布建模）

### （2）preprocessing.KBinsDiscretizer ###

这是将连续型变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码。总共包含三个重要参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 5][]

import pandas as pd
    # index_col 忽略 自带的列索引，否则原索引会当做一列
    # Embarked 登船舱门
    data = pd.read_csv(r"Narrativedata.csv", index_col=0)
    print(data.head())
    
    #填补年龄
    Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是二维
    from sklearn.impute import SimpleImputer
    imp_mean = SimpleImputer() #实例化，默认均值填补
    imp_median = SimpleImputer(strategy="median") #用中位数填补
    imp_0 = SimpleImputer(strategy="constant",fill_value=0) #用0填补
    
    imp_mean = imp_mean.fit_transform(Age) #fit_transform一步完成调取结果
    imp_median = imp_median.fit_transform(Age)
    imp_0 = imp_0.fit_transform(Age)
    
    #在这里我们使用中位数填补Age
    data.loc[:,"Age"] = imp_median
    # 查看数据信息，行数，列数，每一列缺失值等信息
    # data.info()
    
    #使用众数填补Embarked
    Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
    imp_mode = SimpleImputer(strategy = "most_frequent")
    data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)
    """ ========================================================"""
    from sklearn.preprocessing import KBinsDiscretizer
    X = data.iloc[:,0].values.reshape(-1,1)
    # 将年龄列分三箱
    est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
    est.fit_transform(X)
    print(est.fit_transform(X)[:20])
    #查看转换后分的箱：变成了一列中的三箱,有三个分类
    # ravel 用来降维的方法
    print(set(est.fit_transform(X).ravel())) #{0.0, 1.0, 2.0}
    # 使用独热编码，对年龄分三箱
    est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')
    #查看转换后分的箱：变成了哑变量
    print(est.fit_transform(X).toarray())
    # [[1. 0. 0.]
    #  [0. 1. 0.]
    #  [1. 0. 0.]
    #  ...
    #  [0. 1. 0.]
    #  [1. 0. 0.]
    #  [0. 1. 0.]]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20230808/d6e292caab40436481698d63079c6ad5.png
[20191001005044381.png]: /images/20230808/4710b4e50bd84ab58bad3d6af8c21f3b.png
[20191001010417531.png]: /images/20230808/ca3aaa474e6640cf9cd82410813271bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1]: /images/20230808/7cd93e8812da4fd3a86a318e296c06e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2]: /images/20230808/6283f207a21c488d85b6f3a8a0e1ac8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3]: /images/20230808/e2bf0a37958e49ac8af2fdfe12a7f584.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4]: /images/20230808/a2d78489be2b4fea8bc605d0172fa926.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 5]: /images/20230808/c150771406704d3dbaf054a920a9b617.png