数据挖掘实战系列之 Kaggle 泰坦尼克号灾难（上）

Dear 丶 2021-09-15 09:36 747阅读 0赞

## （一）步骤流程： ##

#（一） 目标确定：根据已有数据预测未知旅客生死
    
    # （二）数据准备：1 数据获取，载入训练集csv，测试集csv
    # （三）数据清洗：补齐或抛弃缺失值，数据类型变化（字符串转数字）
    # （四）数据重构：根据需要重新构造数据（重组数据，构建新特性）
    
    #（五）数据分析：
          1 描述性分析，画图，直观分析
          2  探索性分析， 机器学习模型
    
    # （六）成果输出：csv文件上传得到正确率和排名

> 学习数据挖掘（分析）的步骤差不多就这些，这是对于第二次练习数据挖掘项目的体会，难道不就是这些吗，当然除了加上你的思维判断。

\#\#（二）数据准备

（1）下载数据源

在kaggle上下载数据包：[https://www.kaggle.com/c/titanic][https_www.kaggle.com_c_titanic]

![image.png][]

把上面这三个csv文件都下载下来。

（2）查看数据信息

1）测试集数据

# 1 载入库
    import numpy as np 
    import matplotlib.pyplot as plt 
    import pandas as pd 
    
    # 数据获取
    train = pd.read_csv("train.csv")
    test = pd.read_csv("test.csv")
    
    # 显示头几行数据  # head()方法查看头部几行信息，如果打train则返回所有数据列表
    train.head()

![image.png][image.png 1]

这里的头信息是英文的，我来解释一番：

PassengerId: 乘客ID
    Survived: 是否生存，0代表遇难，1代表还活着
    Pclass:  船舱等级：1Upper，2Middle，3Lower
    Name: 姓名
    Sex:  性别
    Age: 年龄
    SibSp: 兄弟姐妹及配偶个数
    Parch:父母或子女个数
    Ticket: 乘客的船票号
    Fare: 乘客的船票价
    Cabin: 乘客所在的仓位（位置）
    Embarked:乘客登船口岸

![image.png][image.png 2]

2）数据概览

# 2 数据概览
    #  2.0 查看数据的行数，列数
    train.shape,test.shape
    
    # 下图的（（891,12）） 代表train的条数有891条，12是代表有12个column（栏目）

![image.png][image.png 3]

# 2.1 查看数据的具体字段
    train.info()

![image.png][image.png 4]

test.info()

![image.png][image.png 5]

\`  
\#\#（三）数据清洗

> 对缺失过多，无关值进行丢弃：

（1）保留部分数据栏目内容

# trains表对比上面，扔掉了Name，Ticket Cabin，Embarked
    train2 = train.loc[:,['PassengerId','Survived','Pclass','Sex','Age','SibSp','Parch','Fare']]
    # test2表对比上面，扔掉了Name，Ticket，Cabin，Embarked
    test2 = test.loc[:,['PassengerId','Pclass','Sex','Age','SibSp','Parch','Fare']]
    #  .loc[:,:] 中括号里面逗号前面的表示行，逗号后面的表示列，这里的两个训练集代表，行都要，列只要选出来的列的内容
    
    # 3.1 我们看一下trains2 跟test2的头信息
    train2.head()

![image.png][image.png 6]

![image.png][image.png 7]

（2） 再看一下数据表信息

![image.png][image.png 8]

*  很明显这里的数据栏目就少了。

（3）train2 的年龄空值填充

*  年龄空值填充三部曲：1 取值（中位数）2 查找null的值 3 用中位数进行替换掉

# 3.3.1这里我们取一下age 的中位数
    age_median = train2['Age'].median() # 中位数
    age_median
    
    # 3.3.1将train2的空值使用bool值来查看（这里只是查看，False代表有值）
    train2['Age'].isnull()
    
    # 3.3.1 将train2 age的空值使用中位数代替
    train2.loc[train2['Age'].isnull(),'Age'] = age_median 
    train2.info()

![image.png][image.png 9]

![image.png][image.png 10]

（4）train2 Fare船票价格填充

# 3.3.2 test数据集 获取众数 填充船票价格 Fare
    
    fare = test2['Fare'].mode()
    fare
    
    test2.loc[test2['Fare'].isnull(),'Fare'] = fare[0]
    
    train2.info(),test2.info()

![image.png][image.png 11]

（5）将男女性别用**int**类型0,1进行代表

# 这里我们可以看到Sex的数据类型为object，男性or 女性，这里我们将性别转成int类型
    
    train2['Sex']=train2['Sex'].map({'female':0,'male':1}).astype(int)
    test2['Sex']=test2['Sex'].map({'female':0,'male':1}).astype(int)
    
    # 查看一下train2的头信息
    train2.head(),test2.head()

![image.png][image.png 12]

\#\#（四）数据重组

> 这里我们根据**SibSp Parch**构建家庭人口总数，是否单身

# 4.0 数据重构 根据SibSp Parch 构建两个新特征 
    # 新特征：家庭人口总数familysize，是否单身 isalone
    
    # 4.1 家庭人口总数familysize
    # 兄弟个数
    train2.loc[:,'SibSp'] # 兄弟个数
    train2.loc[:,'Parch'] # 父母子女个数
    
    # 这里的逻辑不够严谨
    train2['familysize']=train2.loc[:,'SibSp']+ train2.loc[:,'Parch']+1
    test2['familysize']= test2.loc[:,'SibSp']+test2.loc[:,'Parch']+1
    
    train2.info()
    train2.head()

![image.png][image.png 13]

1.  对单身数据稍微调整

# 是否单身 ,默认不是单身
    train2['isalone'] = 0
    train2.loc[train2['familysize']==1,'isalone'] =1
    train2.head()
    
    # test2['isalone'] = 0
    # test2.loc[test2['familysize']==1,'isalone'] =1
    # test.head()

![image.png][image.png 14]

2）数据重组后的最终数据

# 5.0 数据重构后的最终数据
    # train3 = train2.loc[:,['PassengerId','Survived','Pclass','Sex','Age','Fare','familysize','isalone']]
    # train3.head()
    
    test3 = test2.loc[:,['PassengerId','Pclass','Sex','Age','Fare','familysize','isalone']]
    test3.head()

![image.png][image.png 15]

> 到这里为止，我们将数据处理，数据重组，重构新数据表已经弄好了，接下来，我们使用可视化进行数据分析。

\--------------------------------------- 下面是广告 ------------------------------------------------

ad time

[超详细图文搭建个人免费博客][Link 1]

欢迎关注「蛇崽网盘教程资源」公众号 ，在微信后台回复「领取资源」，获取IT资源200G干货大全。

在微信后台回复「130个小程序」，即可免费领取享有导入就能跑的微信小程序

在微信后台回复「电影」，即可获取全部泰坦尼克号数据集  
![在这里插入图片描述][20181106111014905.png]

[https_www.kaggle.com_c_titanic]: https://www.kaggle.com/c/titanic
[image.png]: /images/20210529/8b51f0ceec2f4931bb72d303199e93b4.png
[image.png 1]: /images/20210529/86e69caaef9440acbe20dc16a5104fcb.png
[image.png 2]: /images/20210529/004199bf76e645e79a0a928d459745a7.png
[image.png 3]: /images/20210529/698523a51604402ea14a738b525d3d5f.png
[image.png 4]: /images/20210529/54de223492f146bf91275a5ae2120184.png
[image.png 5]: /images/20210529/f3fa0d1b8dae4e3286559d1b8cc1bb66.png
[image.png 6]: /images/20210529/2d14816fe3324dfeaf666d2d3f1cdd4c.png
[image.png 7]: /images/20210529/d5b3750c6c204b7b91d8f780f6c67e5a.png
[image.png 8]: /images/20210529/16a65b12e3c146d88a5b13d3a7b36a03.png
[image.png 9]: /images/20210529/cf3e4edfa34b4696acf971580dcf9729.png
[image.png 10]: /images/20210529/304e830f302b4b20b219ed55d2f03556.png
[image.png 11]: /images/20210529/ce3a218e46d14ad5849c163ae530658c.png
[image.png 12]: /images/20210529/be25376db7ec4b708b84c350bac523bd.png
[image.png 13]: /images/20210529/7c6579c75e584fd28586a104bc43e423.png
[image.png 14]: /images/20210529/0c9aad9609a247158d40b2cbbb30c426.png
[image.png 15]: /images/20210529/2a7a292b6c26410f89c4fa1f3619713d.png
[Link 1]: https://blog.csdn.net/xudailong_blog/article/details/78762262
[20181106111014905.png]: /images/20210529/6673249cce22452c8a49330a17fdcd3f.png