数据挖掘实战 —— 泰坦尼克号

ゝ一纸荒年。 2022-10-15 14:50 123阅读 0赞

### 数据挖掘实战 —— 泰坦尼克号 ###

*   *  一、数据指导
     *  二、数据源
     *  三、理解数据
     *   *  3.1 导包
         *  3.2 读取数据
         *  3.3 属性介绍
     *  四、 填充缺失数据
     *   *  4.1 处理age属性
     *  五、分析描述数据
     *   *  5.1 幸存比例
         *  5.2 幸存男女比例
         *  5.3 幸存年龄比例
         *  5.4 身份地位幸存比例
         *  5.5 家庭人数幸存比例
         *  5.6 特征相关

## 一、数据指导 ##

# 一、目的：根据已有数据预测未知旅客生死;
    # 二、数据准备：数据获取，载入train.csv;
    # 三、数据清洗：补齐或抛弃缺失值，数据类型变化;
    # 四、数据分析：
          1 描述性分析：画图，直观分析;
          2  探索性分析，机器学习模型;

## 二、数据源 ##

在kaggle上下载数据包：[https://www.kaggle.com/c/titanic][https_www.kaggle.com_c_titanic]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]  
把数据源下载下来。

--------------------

## 三、理解数据 ##

### 3.1 导包 ###

import warnings
    import numpy as np 
    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    
    from IPython.core.interactiveshell import InteractiveShell
    InteractiveShell.ast_node_interactivity = "all" # 显示所有结果
    plt.style.use('fivethirtyeight') #制定画图风格
    warnings.filterwarnings('ignore') #将警告过滤掉
    plt.rcParams['font.sans-serif'] = ['SimHei']
    %matplotlib inline

### 3.2 读取数据 ###

data = pd.read_csv("D:/test/train.csv")
    # data.head(3)
    data.tail()
    data.shape # train的条数有891条，有12个column

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]

### 3.3 属性介绍 ###

PassengerId: 乘客ID；
    Survived: 是否幸存，0代表遇难，1代表还活着；
    Pclass:  船舱等级：1 好，2 中等，3 低等；
    Name: 姓名；
    Sex:  性别；
    Age: 年龄；
    SibSp: 兄弟姐妹及配偶个数；
    Parch:父母或子女个数；
    Ticket: 乘客的船票号；
    Fare: 乘客的船票价；
    Cabin: 乘客所在的仓位（位置）；
    Embarked:乘客登船口岸。

# 查看数据的具体字段
    data.info()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]

## 四、 填充缺失数据 ##

# 统计缺失值
    data.isnull().sum()
    # 数据描述
    data.describe()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]  
我们发现，年龄的缺失值最多，因此我们要填充数据。

#  .loc[:,:] 中括号里面逗号前面的表示行，逗号后面的表示列。
    data1 = data.loc[:,['PassengerId','Survived','Pclass','Sex','Age','SibSp','Parch','Fare']]
    data1.head()

### 4.1 处理age属性 ###

1.  简单粗暴方法：

# 取 age 的中位数填充数据方法
    age_median = data1['Age'].median() # 中位数
    print("中位数:",age_median)
    # 空值使用bool值来查看（这里只是查看，False代表有值）
    data1['Age'].isnull().head()
    
    # 将age的空值使用中位数代替
    data1.loc[data1['Age'].isnull(),'Age'] = age_median 
    # 统计缺失值
    data1.isnull().sum()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]

1.  **深入方法：** 在姓名属性中，我们可以发现 Mr，Mrs 先生，女士的称谓，隐性的表现年龄。

data['Initial']=0
    for i in data:
        data['Initial']=data.Name.str.extract('([A-Za-z]+)\.')
    pd.crosstab(data.Initial,data.Sex) #用性别核对姓名首字母
    pd.crosstab(data.Initial,data.Sex).T # 转置

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]

# 转化为：Master、Miss、Mr、Mrs、Other 属性
    data['Initial'].replace(['Mlle','Mme','Ms','Dr','Major','Lady','Countess','Jonkheer','Col','Rev','Capt','Sir','Don'],
        ['Miss','Miss','Miss','Mr','Mr','Mrs','Mrs','Other','Other','Other','Mr','Mr','Mr'],inplace=True)
    data.groupby('Initial')['Age'].mean() # 求平均
    
    # 统计缺失值
    data.Age.isnull().sum()
    
    # 安装平均数值对age进行填充
    data.loc[(data.Age.isnull())&(data.Initial=='Master'),'Age']=5
    data.loc[(data.Age.isnull())&(data.Initial=='Miss'),'Age']=22
    data.loc[(data.Age.isnull())&(data.Initial=='Mr'),'Age']=33
    data.loc[(data.Age.isnull())&(data.Initial=='Mrs'),'Age']=36
    data.loc[(data.Age.isnull())&(data.Initial=='Other'),'Age']=46
    data.Age.isnull().any() # 显示填充后信息
    data.Age.isnull().sum()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]

--------------------

## 五、分析描述数据 ##

### 5.1 幸存比例 ###

f,ax = plt.subplots(1,2,figsize=(18,8))
    Survived_count = data['Survived'].value_counts()
    
    sns.countplot('Survived',data=data,ax=ax[0])
    ax[0].set_title('幸存比例条形图')
    ax[0].set_xlabel('幸存')
    ax[0].set_ylabel('数量')
    
    explode = [0,0.1]
    plt.pie(Survived_count,explode=explode,autopct='%1.1f%%',shadow=True)
    ax[1].set_title('幸存比例饼图')
    
    # plt.savefig(r"C:\Users\Desktop\幸存比例.png",dpi=400)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]

--------------------

### 5.2 幸存男女比例 ###

# 对性别进行分组，并计数幸存人数
    data.groupby(['Sex','Survived'])['Survived'].count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]

f,ax = plt.subplots(1,2,figsize=(18,8))
    data['Sex'].value_counts().plot.pie(explode=[0,0.1],autopct='%1.1f%%',ax=ax[0],shadow=True)
    ax[0].set_title('男女比例饼图')
    
    Sex_count = data['Sex'].value_counts()
    sns.countplot('Sex',hue='Survived',data=data,ax=ax[1])
    ax[1].set_title('男女幸存比例条形图')
    ax[1].set_xlabel('男 女')
    ax[1].set_ylabel('数 量')
    
    # plt.savefig(r"C:\Users\Desktop\男女比例幸存.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9]

*  可以发现，在饼图男女比例大约是6.5:3.5，**男性死亡人数远高于女性**。
 *  在条形图，男性死亡(蓝条)人数远高于生存(红条)人数；女性则是反过来。

--------------------

### 5.3 幸存年龄比例 ###

f,ax=plt.subplots(1,2,figsize=(20,10))
    x1=list(range(0,85,5)) # 年龄间隔
    data[data['Survived']==0].Age.plot.hist(ax=ax[0],bins=20,edgecolor='black',color='red')
    ax[0].set_title('Survived= 0,死亡')
    ax[0].set_xticks(x1)
    ax[0].set_xlabel('年 龄')
    ax[0].set_ylabel('数 量')
    
    data[data['Survived']==1].Age.plot.hist(ax=ax[1],bins=20,edgecolor='black',color='green')
    ax[1].set_title('Survived= 1，幸存')
    ax[1].set_xticks(x1)
    ax[1].set_xlabel('年 龄')
    ax[1].set_ylabel('数 量')
    # plt.savefig(r"C:\Users\Desktop\年龄幸存图.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]

*  可以发现在25-40岁年龄段是死亡人数最多的，幼童和老人死亡较少，综上符合老人、妇女、儿童性命优先策略。

--------------------

### 5.4 身份地位幸存比例 ###

# 对船舱等级分组，并计数幸存人数
    # 设船舱等级越高则身份地位越高
    data.groupby(['Pclass','Survived'])['Survived'].count()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]

f,ax = plt.subplots(1,2,figsize=(18,8))
    data['Pclass'].value_counts().plot.pie(explode=[0,0.05,0.05],autopct='%1.1f%%',ax=ax[0],shadow=True)
    ax[0].set_title('船舱等级比例饼图')
    
    Pclass_count = data['Pclass'].value_counts()
    sns.countplot('Pclass',hue='Survived',data=data,ax=ax[1])
    ax[1].set_title('身份地位幸存比例条形图')
    ax[1].set_xlabel('船舱等级==身份地位')
    ax[1].set_ylabel('数 量')
    
    # plt.savefig(r"C:\Users\Desktop\身份地位幸存者图.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]

*  可以发现船舱等级越高，则幸存比例越大，隐性显示身份地位越高越受到重视，所以金钱和地位很重要。

# 船舱等级和性别对结果的影响
    pd.crosstab([data.Sex,data.Survived],data.Pclass,margins=True)
    
    # 在船舱等级下的男女幸存比例
    sns.factorplot('Pclass','Survived',hue='Sex',data=data)
    plt.title("身份地位幸存者图")
    plt.xlabel("船舱等级")
    plt.ylabel("幸存比例")
    # plt.savefig(r"C:\Users\Desktop\身份地位幸存者图.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 14]  
可以很容易地推断，总体上来看，女性优先，且地位高的女性着重救援，例如，pclass1女性生存是95-96%，这是非常之高的幸存比例了。

--------------------

### 5.5 家庭人数幸存比例 ###

# sibsip 兄弟姐妹的数量
    pd.crosstab([data.SibSp],data.Survived).T
    
    f,ax=plt.subplots(1,2,figsize=(20,8))
    sns.barplot('SibSp','Survived',data=data,ax=ax[0])
    ax[0].set_title('家庭人数比例条形图')
    ax[0].set_xlabel('家庭人数')
    ax[0].set_ylabel('比 例')
    
    sns.factorplot('SibSp','Survived',data=data,ax=ax[1])
    ax[1].set_title('家庭人数比例折线图')
    ax[1].set_xlabel('家庭人数')
    ax[1].set_ylabel('比 例')
    plt.close(2)
    # plt.savefig(r"C:\Users\Desktop\家庭人数比例图.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][20210525220721780.png]

可以发现单身的约有35%的存活率，如果有兄弟姐妹的存活率会相应减少。但是令人惊讶的是，5-8名成员家庭的存活率为0%。这是什么原因呢？真是令人疑惑呢…

### 5.6 特征相关 ###

sns.heatmap(data.corr(),annot=True,cmap='RdYlGn',linewidths=0.2) #data.corr()-->correlation matrix
    fig=plt.gcf()
    fig.set_size_inches(10,8)
    # plt.savefig(r"C:\Users\Desktop\特征相关图.png",dpi=500)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 16]

参考来自  
[https://www.cnblogs.com/bigbigbird/p/12960460.html][https_www.cnblogs.com_bigbigbird_p_12960460.html]

[https_www.kaggle.com_c_titanic]: https://www.kaggle.com/c/titanic
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221014/72798566e94a43f2a99ce36a88a2c0d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/52e4e8290b2c418696daf3e02ace38b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221014/989c558fba53408c9bacaa6f0226681b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221014/8f336b16d6104d0492c98b61c70f29ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221014/87a9594b638f476195382cbcc8575ee5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221014/7f281b7282a0474fb90faea173123da1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221014/33ab500c3fd14ff699924d379c6da115.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]: /images/20221014/e06a532c1d074401a086e1cce88490e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 8]: /images/20221014/4adb671e93624c2e9de4e0df24eca86c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 9]: /images/20221014/45b1568378034e4d886b06da40547390.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 10]: /images/20221014/6025e6b1c8ed47dcbb832f762edcf1a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 11]: /images/20221014/3165b4154b634c308ce19083f739f025.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 12]: /images/20221014/98488c5366b74b2f98bf82592d534ad2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 13]: /images/20221014/24a25b27a65c45b2996df4a75d749281.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 14]: /images/20221014/73eb627729464e78975ca81d219dbff7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 15]: /images/20221014/974ede34cdae4235aababacbe62c8cf6.png
[20210525220721780.png]: /images/20221014/9dc88c30015b48b4ba29e874c3e4e56a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 16]: /images/20221014/1e6c3d607cbc46068ec71ff5003a2d2a.png
[https_www.cnblogs.com_bigbigbird_p_12960460.html]: https://www.cnblogs.com/bigbigbird/p/12960460.html