Datawhale -数据挖掘 - task 1 : 数据探索与分析

客官°小女子只卖身不卖艺 2021-11-09 00:36 401阅读 0赞

### 前言 ###

要求：数据切分方式 - 三七分，其中测试集30%，训练集70%，随机种子设置为2018

任务1：对数据进行探索和分析。时间：2天

数据类型的分析  
无关特征删除  
数据类型转换  
缺失值处理

这里面数据集大家可以换成其他的，本文章代码依旧可以适用。

### 1、了解数据集 ###

import pandas as pd
    import numpy as np
    
    dataPath = "D:\\Data\\dataAnalyse\\"
    dataFile = "data.csv"
    data = pd.read_csv(dataPath+dataFile,encoding='gbk')
    
    print(data.shape)
    #(4754, 90)
    print(data.head(10))
    data.info()
    # 查看数据类型及对应类型个数
    print(data.dtypes.value_counts())
    
    # 这个代码主要是为了计算每个特征的的每个值出现的次数
    label = data.columns
    #label = ['trade_no']
    for col in label:
        print('{} 不同值个数:{}\r\n'.format(col,len(data[col].value_counts())))
        print(data[col].value_counts())

结果如下：

(4754, 90)
    RangeIndex: 4754 entries, 0 to 4753
    Data columns (total 90 columns):
    Unnamed: 0                                    4754 non-null int64
    custid                                        4754 non-null int64
    trade_no                                      4754 non-null object
    bank_card_no                                  4754 non-null object
    low_volume_percent                            4752 non-null float64
    middle_volume_percent                         4752 non-null float64
    take_amount_in_later_12_month_highest         4754 non-null int64
    trans_amount_increase_rate_lately             4751 non-null float64
    trans_activity_month                          4752 non-null float64
    trans_activity_day                            4752 non-null float64
    transd_mcc                                    4752 non-null float64
    trans_days_interval_filter                    4746 non-null float64
    trans_days_interval                           4752 non-null float64
    regional_mobility                             4752 non-null float64
    student_feature                               1756 non-null float64
    repayment_capability                          4754 non-null int64
    is_high_user                                  4754 non-null int64
    number_of_trans_from_2011                     4752 non-null float64
    first_transaction_time                        4752 non-null float64
    historical_trans_amount                       4754 non-null int64
    historical_trans_day                          4752 non-null float64
    rank_trad_1_month                             4752 non-null float64
    trans_amount_3_month                          4754 non-null int64
    avg_consume_less_12_valid_month               4752 non-null float64
    abs                                           4754 non-null int64
    top_trans_count_last_1_month                  4752 non-null float64
    avg_price_last_12_month                       4754 non-null int64
    avg_price_top_last_12_valid_month             4650 non-null float64
    reg_preference_for_trad                       4752 non-null object
    trans_top_time_last_1_month                   4746 non-null float64
    trans_top_time_last_6_month                   4746 non-null float64
    consume_top_time_last_1_month                 4746 non-null float64
    consume_top_time_last_6_month                 4746 non-null float64
    cross_consume_count_last_1_month              4328 non-null float64
    trans_fail_top_count_enum_last_1_month        4738 non-null float64
    trans_fail_top_count_enum_last_6_month        4738 non-null float64
    trans_fail_top_count_enum_last_12_month       4738 non-null float64
    consume_mini_time_last_1_month                4728 non-null float64
    max_cumulative_consume_later_1_month          4754 non-null int64
    max_consume_count_later_6_month               4746 non-null float64
    railway_consume_count_last_12_month           4742 non-null float64
    pawns_auctions_trusts_consume_last_1_month    4754 non-null int64
    pawns_auctions_trusts_consume_last_6_month    4754 non-null int64
    jewelry_consume_count_last_6_month            4742 non-null float64
    status                                        4754 non-null int64
    source                                        4754 non-null object
    first_transaction_day                         4752 non-null float64
    trans_day_last_12_month                       4752 non-null float64
    id_name                                       4478 non-null object
    apply_score                                   4450 non-null float64
    apply_credibility                             4450 non-null float64
    query_org_count                               4450 non-null float64
    query_finance_count                           4450 non-null float64
    query_cash_count                              4450 non-null float64
    query_sum_count                               4450 non-null float64
    latest_query_time                             4450 non-null object
    latest_one_month_apply                        4450 non-null float64
    latest_three_month_apply                      4450 non-null float64
    latest_six_month_apply                        4450 non-null float64
    loans_score                                   4457 non-null float64
    loans_credibility_behavior                    4457 non-null float64
    loans_count                                   4457 non-null float64
    loans_settle_count                            4457 non-null float64
    loans_overdue_count                           4457 non-null float64
    loans_org_count_behavior                      4457 non-null float64
    consfin_org_count_behavior                    4457 non-null float64
    loans_cash_count                              4457 non-null float64
    latest_one_month_loan                         4457 non-null float64
    latest_three_month_loan                       4457 non-null float64
    latest_six_month_loan                         4457 non-null float64
    history_suc_fee                               4457 non-null float64
    history_fail_fee                              4457 non-null float64
    latest_one_month_suc                          4457 non-null float64
    latest_one_month_fail                         4457 non-null float64
    loans_long_time                               4457 non-null float64
    loans_latest_time                             4457 non-null object
    loans_credit_limit                            4457 non-null float64
    loans_credibility_limit                       4457 non-null float64
    loans_org_count_current                       4457 non-null float64
    loans_product_count                           4457 non-null float64
    loans_max_limit                               4457 non-null float64
    loans_avg_limit                               4457 non-null float64
    consfin_credit_limit                          4457 non-null float64
    consfin_credibility                           4457 non-null float64
    consfin_org_count_current                     4457 non-null float64
    consfin_product_count                         4457 non-null float64
    consfin_max_limit                             4457 non-null float64
    consfin_avg_limit                             4457 non-null float64
    latest_query_day                              4450 non-null float64
    loans_latest_day                              4457 non-null float64
    dtypes: float64(70), int64(13), object(7)
    memory usage: 3.3+ MB
    float64    70
    int64      13
    object      7
    dtype: int64
    
    
    Unnamed: 0 不同值个数:4754
    
    custid 不同值个数:4754
    
    trade_no 不同值个数:4754
    
    bank_card_no 不同值个数:1
    
    low_volume_percent 不同值个数:40
    
    middle_volume_percent 不同值个数:90
    
    take_amount_in_later_12_month_highest 不同值个数:166
    
    trans_amount_increase_rate_lately 不同值个数:782
    
    trans_activity_month 不同值个数:84
    
    trans_activity_day 不同值个数:512
    
    transd_mcc 不同值个数:41
    
    trans_days_interval_filter 不同值个数:147
    
    trans_days_interval 不同值个数:114
    
    regional_mobility 不同值个数:5
    
    student_feature 不同值个数:2
    
    repayment_capability 不同值个数:2390
    
    is_high_user 不同值个数:2
    
    number_of_trans_from_2011 不同值个数:70
    
    first_transaction_time 不同值个数:1693
    
    historical_trans_amount 不同值个数:4524
    
    historical_trans_day 不同值个数:476
    
    rank_trad_1_month 不同值个数:20
    
    trans_amount_3_month 不同值个数:3524
    
    avg_consume_less_12_valid_month 不同值个数:12
    
    abs 不同值个数:1697
    
    top_trans_count_last_1_month 不同值个数:8
    
    avg_price_last_12_month 不同值个数:330
    
    avg_price_top_last_12_valid_month 不同值个数:20
    
    reg_preference_for_trad 不同值个数:5
    
    trans_top_time_last_1_month 不同值个数:28
    
    trans_top_time_last_6_month 不同值个数:97
    
    consume_top_time_last_1_month 不同值个数:28
    
    consume_top_time_last_6_month 不同值个数:94
    
    cross_consume_count_last_1_month 不同值个数:19
    
    trans_fail_top_count_enum_last_1_month 不同值个数:15
    
    trans_fail_top_count_enum_last_6_month 不同值个数:25
    
    trans_fail_top_count_enum_last_12_month 不同值个数:26
    
    consume_mini_time_last_1_month 不同值个数:1971
    
    max_cumulative_consume_later_1_month 不同值个数:863
    
    max_consume_count_later_6_month 不同值个数:29
    
    railway_consume_count_last_12_month 不同值个数:6
    
    pawns_auctions_trusts_consume_last_1_month 不同值个数:572
    
    pawns_auctions_trusts_consume_last_6_month 不同值个数:2730
    
    jewelry_consume_count_last_6_month 不同值个数:7
    
    status 不同值个数:2
    
    source 不同值个数:1
    
    first_transaction_day 不同值个数:1693
    
    trans_day_last_12_month 不同值个数:132
    
    id_name 不同值个数:4309
    
    apply_score 不同值个数:205
    
    apply_credibility 不同值个数:41
    
    query_org_count 不同值个数:46
    
    query_finance_count 不同值个数:25
    
    query_cash_count 不同值个数:17
    
    query_sum_count 不同值个数:74
    
    latest_query_time 不同值个数:207
    
    latest_one_month_apply 不同值个数:36
    
    latest_three_month_apply 不同值个数:56
    
    latest_six_month_apply 不同值个数:65
    
    loans_score 不同值个数:247
    
    loans_credibility_behavior 不同值个数:25
    
    loans_count 不同值个数:134
    
    loans_settle_count 不同值个数:123
    
    loans_overdue_count 不同值个数:26
    
    loans_org_count_behavior 不同值个数:41
    
    consfin_org_count_behavior 不同值个数:19
    
    loans_cash_count 不同值个数:32
    
    latest_one_month_loan 不同值个数:14
    
    latest_three_month_loan 不同值个数:31
    
    latest_six_month_loan 不同值个数:67
    
    history_suc_fee 不同值个数:171
    
    history_fail_fee 不同值个数:151
    
    latest_one_month_suc 不同值个数:19
    
    latest_one_month_fail 不同值个数:41
    
    loans_long_time 不同值个数:202
    
    loans_latest_time 不同值个数:232
    
    loans_credit_limit 不同值个数:54
    
    loans_credibility_limit 不同值个数:33
    
    loans_org_count_current 不同值个数:32
    
    loans_product_count 不同值个数:32
    
    loans_max_limit 不同值个数:91
    
    loans_avg_limit 不同值个数:961
    
    consfin_credit_limit 不同值个数:327
    
    consfin_credibility 不同值个数:24
    
    consfin_org_count_current 不同值个数:19
    
    consfin_product_count 不同值个数:20
    
    consfin_max_limit 不同值个数:175
    
    consfin_avg_limit 不同值个数:1677
    
    latest_query_day 不同值个数:210
    
    loans_latest_day 不同值个数:235

### 将城市 中文换成数字 ###

reg_preference_for_trad = 'reg_preference_for_trad'
    city_label = []
    # 把 nan转换为 ""
    for city in data[reg_preference_for_trad].fillna(""): 
        if city not in city_label:
            city_label.append(city)
    
    print(city_label)
    #print(data[reg_preference_for_trad].head(10))
    
    city_dic = {'一线城市':1, '二线城市':2, '三线城市':3, '境外':4, '其他城市':5, '':5}
    city_num =[]
    for city in data[reg_preference_for_trad].fillna(""): 
        city_num.append(city_dic[city])
    
    print(city_num[0:20])
    
    # 新增一列
    reg_preference_for_trad_num = reg_preference_for_trad+"_num"
    data[reg_preference_for_trad_num] = city_num
    
    print(data[reg_preference_for_trad_num].head(10))
    print(data[reg_preference_for_trad_num].value_counts())

结果如下：

['一线城市', '三线城市', '境外', '二线城市', '其他城市', '']
    [1, 1, 1, 3, 1, 3, 1, 1, 3, 1, 1, 1, 3, 1, 1, 1, 4, 1, 4, 1]
    0    1
    1    1
    2    1
    3    3
    4    1
    5    3
    6    1
    7    1
    8    3
    9    1
    Name: reg_preference_for_trad_num, dtype: int64
    1    3403
    3    1064
    4     150
    2     131
    5       6
    Name: reg_preference_for_trad_num, dtype: int64

其中吧缺省值全部设置为了“”空字符，一方面是因为确实不好判断这个nan，所以转换后就很方便来判断缺省值，另一个方面就是利用词典来对数据数据，获得的新的一列，然后把新的一列插入到原数据结构中。

### 3、删除列 ###

# 删除列
    data = data.drop(['bank_card_no'],axis=1)
    
    data = data.drop(['Unnamed: 0'],axis=1)
    
    print('形状：',data.shape)

结果：

形状：(4754, 89)

删除这两个，第一个是因为数值都是一样的，第二个是因为没有列名，应该是脏数据。

### 4、切割数据 ###

from sklearn.model_selection import train_test_split
    
    train_data, test_data = train_test_split(data, test_size=0.3, random_state=2018)
    print("train_data",train_data.shape)
    print("test_data",test_data.shape)

结果如下：

train_data (3327, 91)
    test_data (1427, 91)

其中：  
test\_size：样本占比，如果是整数的话就是样本的数量  
random\_state：是随机数的种子。