pandas：数据离散化与离散化数据的后期处理(one-hot)

素颜马尾好姑娘i 2023-07-13 15:13 17阅读 0赞

↑ 关注 + 星标 ~ 有趣的不像个技术号

每晚九点，我们准时相约  ![format_png][]

![format_png 1][]

大家好，我是黄同学![format_png 2][]

今天跟大家聊聊数据离散化与离散化数据的后期处理。

## 1、什么是数据离散化？ ##

连续属性的离散化，就是将连续属性的值域划分为若干个离散的区间。

最后用不同的符号或整数值，代表每个子区间的属性值。

## 2、为什么要进行数据离散化？ ##

数据离散化可以有效的降低时间复杂度和内存开销。

对于某些机器学习算法来说，像决策树、随机森林、朴素贝叶斯。他们的数据集大多数都是针对的离散型数据。因此做出有效的数据离散化，对于降低计算复杂度和提高算法准确率有很重要的影响。

离散型数据更容易理解。针对收入字段，一个人是3000，一个人是20000。如果将收入看成一个连续型变量，对于这么多数字，我们需要通过数字层面的比较才能知道，谁属于高薪，谁属于低薪，看起来并不直观。如果将收入转换为离散化数据类型(低薪、中薪、高薪)，就能够很清楚的看出原始数字的含义。

离散化后的特征对异常数据有很强的鲁棒性：对于年龄这个特征，如果年龄>30是1，否则0。假如特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰。

更多数据离散化的内容，可以参考如下文章：https://zhuanlan.zhihu.com/p/91181935

## 3、怎么进行数据离散化？ ##

对于获取到的数据集，会有很多个特征，也就是我们常说的字段。有的特征是连续性数据类型，有的数据本身就是离散型数据变量。

已经是离散型数据变量，我们不用管。但是对于连续性数据变量，如果需要进行数据离散化，应该怎么办？

1）pd.cut()和pd.qcut()的参数说明

*  qcut()：表示自动分组，一般用的不太多。
 *  cut()：表示自定义分组，这个用的最多。
 *  语法：pd.cut(x, bins=, labels=, right=, )
 *  x表示一个序列(列表、Series等)，也就是我们想要离散化的数据类型。
 *  bins在定义分组的时候，可以传入一个序列，进行自定义分组。
 *  labels表示给每个分组起别名。
 *  right=False表示左闭右开区间。默认是right=True表示左开右闭区间。
 *  pd.cut()一般会与value\_counts()进行搭配使用，用于统计每个分组的个数。

2）pd.cut()和pd.qcut()的使用说明

① pd.qcut()的使用说明

x = [165,174,160,180,159,163,192,184]
    s = pd.Series(x,index=["NO1:165","NO1:174","NO1:160","NO1:180",\
                           "NO1:159","NO1:163","NO1:192","NO1:184"])
    s_qcut = pd.qcut(s,3)
    print(s_qcut)

结果如下：

![format_png 3][]

② pd.cut()的使用说明

x = [165,174,160,180,159,163,192,184]
    s = pd.Series(x,index=["NO1:165","NO1:174","NO1:160","NO1:180",\
                           "NO1:159","NO1:163","NO1:192","NO1:184"])
    s_cut = pd.cut(s,bins=[150,165,180,195])
    print(s_cut)
    
    # 添加labels参数后
    x = [165,174,160,180,159,163,192,184]
    s = pd.Series(x,index=["NO1:165","NO1:174","NO1:160","NO1:180",\
                           "NO1:159","NO1:163","NO1:192","NO1:184"])
    s_cut = pd.cut(s,bins=[150,165,180,195],labels=["低","中","高"])
    print(s_cut)
    
    # 添加right参数后
    x = [165,174,160,180,159,163,192,184]
    s = pd.Series(x,index=["NO1:165","NO1:174","NO1:160","NO1:180",\
                           "NO1:159","NO1:163","NO1:192","NO1:184"])
    s_cut = pd.cut(s,bins=[150,165,180,195],labels=["低","中","高"],right=False)
    print(s_cut)

结果如下：

![format_png 4][]

3）pd.cut()配合value\_counts()使用

import matplotlib.pyplot as plt
    plt.rcParams["font.sans-serif"] = "SimHei"
    plt.rcParams["axes.unicode_minus"] = False
    
    x = [165,174,160,180,159,163,192,184]
    s = pd.Series(x,index=["NO1:165","NO1:174","NO1:160","NO1:180",\
                           "NO1:159","NO1:163","NO1:192","NO1:184"])
    s_cut = pd.cut(s,bins=[150,165,180,195],labels=["低","中","高"],right=False)
    count = s_cut.value_counts()
    print(count)
    
    count.plot(kind="bar")
    plt.xticks(rotation=360)

结果如下：

![format_png 5][]

## 4、离散化数据的后期处理(one-hot编码) ##

不管是连续性数据变量，还是离散型数据编码，都是数据的一个特征，都有它独特的含义。但是对于离散型数据编码，一般展现出来的是文本字符串，我们虽然认识，但是机器不认识，因此在处理这些数据的时候，就需要将其变成数字。

比如说，我们有这样两组数据。一组数据代表的是性别，一组数据代表的是物种，另外一组数据代表的是毛发。

如下所示：

![format_png 6][]

从图中可以看出。对于性别来说，不是男、就是女，一般的处理方式都是采取二值编码，即“男=1”，“女=0”。对于物种来说，有很多个物种，图中我们采取的是1，2，3…这种格式的编码。对于毛发来说，我们采取的也是1，2，3…这种格式的编码。

但是很显然不太合适，对于性别、物种来说，采用图中的编码方式，很显然3>2>1>0，计算机会将这样的数字会等效看代，因为存在着一种大小关系。但是对于毛发、学历来说，采用这种编码方式，却是可以的，因此毛发有多有少，学历有高有低，因此不同的数字大小，表示等级的不同。

因此，我们需要使用one-hot编码处理一下，最终效果如下：

![format_png 7][]

1）pd.get\_dummies(data,prefix=)的使用

*  data表示数组、Series或DataFrame。
 *  prefix表示给分组加前缀。

① data传入一个Series

结果如下：

![format_png 8][]

② data传入一个DataFrame

df = pd.DataFrame({"性别":["男","女","男"],
                       "物种":["主","狗","猫"]})
    print(df)
    pd.get_dummies(df)

结果如下：

![format_png 9][]

如果大家觉得文章对你有帮助，欢迎扫描下方二维码关注黄同学的CSDN博客

![format_png 10][]

![format_png 11][]

**后台回复关键词「****进群****」，即刻加入读者交流群~**

![format_png 12][]

**五**

黄同学的博客关注了吗？

![format_png 13][]

朱小五

[format_png]: /images/20230529/9649e4ae5d3942ec94933e304ed49e1d.png
[format_png 1]: /images/20230529/7b28bbfbe8fb495ba12c3cbdd38df66b.png
[format_png 2]: /images/20230529/1143a1a120ff47a7901efb75b180163a.png
[format_png 3]: /images/20230529/456dc7f87d3c479ba91dad274bace37a.png
[format_png 4]: /images/20230529/04ae8450cd0c4477bd12a575f3f8711c.png
[format_png 5]: /images/20230529/642b70e1c81f4391abf7930ebd430a9b.png
[format_png 6]: /images/20230529/818011fc12e6456a9c9debfb38b413de.png
[format_png 7]: /images/20230529/976a584588a74f51b91dbb6cecbf22ef.png
[format_png 8]: /images/20230529/35392d6aa11f4346ac3de77575de786e.png
[format_png 9]: /images/20230529/93ff23ad0809441d94464317754ace6b.png
[format_png 10]: /images/20230529/da875a545f704553a27fcf7ad8f769c6.png
[format_png 11]: /images/20230529/0684a9f6e0874cf781be326ccbf5c824.png
[format_png 12]: /images/20230529/46f77a5e05d841268fdf0381d9e2395f.png
[format_png 13]: /images/20230529/55b191c3ea104f62a8e1877d13af92a4.png