Day05| 第四期-电商数据分析

悠悠 2023-02-25 07:21 13阅读 0赞

![format_png][]

**                  ****  01    前言    ****               **

疫情期间，想必我们会增加网上购物，人们的生活越来越数字化。当我们消费时，无论是线上和线下都会产生大量的交易数据，对于商家来说数字化的运营方式非常必要，从大量的交易数据中进行分析得出结论以指导业务。

![format_png 1][]

今天的案例是电商的订单记录分析，挖掘出订单量和产品种类，价格，以及下单时间的特点。电商分析的重点是将我们在积分落户分析中学到的分析方法和应用商店App分析的数据清洗的思路有机结合的一个案例，也是对之前知识点的加强。

**获取数据,** **公号回复：****DT18** ** **

**            02 数据观察 ****                   **

可以用文本编辑器，打开数据观察一下。

![format_png 2][]

数据集是一份电商交易订单的数据，简要说明，price价格的单位是分，35000分是350元，payMoney是支付价格，支付价格和价格会由于促销折扣存在偏差；channelid 渠道，如淘宝、京东或微店；deviceType 设备的类型，如手机，平板和电脑，后两列是订单创建时间和支付时间。

在分析开始前我们要对数据进行检查，查看是否需要清洗，这次案例出现的图表比较多，个别表格会省略，可自行在编辑器中查看。

**                  ****  03 数据清洗   ****               **

import pandas as pd 
    import numpy as np
    
    # 加载数据，id列为索引
    df = pd.read_csv('./order_info_2016.csv', index_col='id')
    df.head()

df.dtypes

orderId        int64
    userId         int64
    productId      int64
    cityId         int64
    price          int64
    payMoney       int64
    channelId     object
    deviceType     int64
    createTime    object
    payTime       object
    dtype: object

#观察数据是否需要清洗
    df.describe() # 数值型数据，数据格式正确
    # 接下来一列一列分析

![format_png 3][]

# id 列
    df.orderId.unique().size

104530

df.orderId.size
    # 104520 少于 104557 说明有重复值，先不进行去重

104557

# userid 列
    df.orderId.unique().size # 与描述统计中的userid列的count信息存在差异，也有重复值,
    # 根据行数发现与order id的非重复列数相同，因此重复的行与id行相同

104530

# productId
    # productId最小值是0，先来看下值为0的记录数量
    df.productId[(df.productId == 0)].size
    # 177行，行数较多先不处理，
    # 数据清洗可以先修改异常值，如果几行数据直接删除
    # 如果要删除较多数据，最好是在所有列检查完毕再删除

177

# cityid 列
    df.cityId.unique().size # 城市可以有重复值

331

# price 列
    # 观察最大最小值，数据和数量级正常，需要将单元分转换成元
    df.price = df.price/100

# payMoney列
    # 最小值为负数，取出负值行的数据的分析
    df[df.payMoney < 0]
    # payMoney与price没有联系，一般来说不会是负数，直接将负值删除df.drop(index=df[df.payMoney < 0].index, inplace=True)

df[df.payMoney < 0] # 再次检查，payMoney没有负值

\# Type 列

# 数据分布的区间也是正常的，没有问题。

# 清洗字符串型数据
    # channelid 列
    # 检查是否有Null值
    # 实际工作中，根据已有的chanellid可以去检查是否有不存在的channelid
    df[df.channelId.isnull()]

# 去掉channelid是NaN的记录
    df.drop(index=df[df.channelId.isnull()].index, inplace=True)
    # 再次查看
    df[df.channelId.isnull()]

# createtime 列
    # datetime格式，需要确保日期和时间发生在2016年
    # payTime 列 付时间，滞后可能有2017年的数据
    # 对两个时间列，先转换成pandas对象,以读取索引的方式对数据进行处理
    df.createTime = pd.to_datetime(df.createTime)
    df.payTime = pd.to_datetime(df.payTime)

import datetime
    import matplotlib.pyplot as plt 
    startTime = datetime.datetime(2016, 1, 1)
    endTime = datetime.datetime(2016, 12, 31, 23, 59, 59)

# 有16年之前的数据，需要删掉
    df[df.createTime < startTime]

df.drop(index=df[df.createTime < startTime].index, inplace=True)
    df[df.createTime < startTime]

# payTime早于createTime的也需要删掉
    df.drop(index=df[df.createTime > df.payTime].index, inplace=True)

# 处理16年之后的数据
    df[df.createTime > endTime] # 为空

![format_png 4][]

# 看下支付时间有没有16年以前的
    df[df.payTime < startTime] # 为空

# 看下支付时间在16年以后的，为空，支付时间不用处理
    df[df.payTime > endTime]

# 回到最开始，orderid存在重复值，所有列检查后，进行去重
    df.drop(index=df[df.orderId.duplicated()].index, inplace=True)

104520

# productid 列 存在177行为0，删除
    df.drop(index=df[df.productId==0].index, inplace=True)
    df.describe() # count 行保持一致，每一列的数据分布处在合理区间
    # 数据清洗完毕
    # 业务分析中一般数据清洗和转换会占用很多时间
    # 某些工作中，数据的缺失还需要去系统中查数据填补上去，需要保持耐心~

![format_png 5][]

**                  ****  04    数据分析    ****               **

数据分析按照选取一列作为维度，可以附加其他列作为指标。

# 按照商品 productId
    # 先看下商品销量的前十和后十个
    productId_orderCount = df.groupby('productId').count()['orderId'].sort_values(ascending=False)
    print(productId_orderCount.head(10))
    print(productId_orderCount.tail(10))

productId
    895    354
    762    350
    103    334
    587    303
    385    302
    60     301
    38     301
    403    297
    345    292
    823    289
    Name: orderId, dtype: int64
    productId
    948     29
    856     28
    621     27
    272     26
    563     24
    347     21
    597     19
    468     18
    986     16
    1000    13
    Name: orderId, dtype: int64

# 分析销售额前十商品

# 下面的分析，我在这里不显示运行结果，以节省空间，可以去掉注释后一行一行运行
    # 1.对product进行分组，以orderId的数量作为指标，得出每种产品的下单数
    # df.groupby('productId').count()['orderId']
    
    # 2.对每种产品的下单数进行排序
    # df.groupby('productId').count()['orderId'].sort_values(ascending=False)
    
    # 3.还可以查看每种产品的销售额，sum求和销售额并排序
    # df.groupby('productId').sum()['payMoney'].sort_values(ascending=False)

# 我们分析了销售额和销量（下单数），可以将前几排名的产品写在报告中
    # 同时我们可以探究销量最差和销售额最低的商品定为问题商品，进而找到商品分析原因，是否需要优化或者将产品下架
    
    # 销售额
    productId_turnover = df.groupby('productId').sum()['payMoney'].sort_values(ascending=False)
    print(productId_turnover.tail(10))
    # 销量（下单数）
    productId_orderCount = df.groupby('productId').count()['orderId'].sort_values(ascending=False)

productId
    385    42752210
    61     36157200
    103    34464120
    405    33952500
    720    32240510
    698    32049860
    345    32016220
    182    29660000
    383    28079000
    396    26955600
    Name: payMoney, dtype: int64
    productId
    310     2287900
    847     2286900
    454     2253500
    817     2250900
    597     2184700
    408     1811100
    986     1478400
    964     1423800
    1000    1216900
    347     1207000
    Name: payMoney, dtype: int64

# 查找问题产品Id：销量和销售额末尾50个的产品Id取交集 使用interp取交集
    problem_productIds = productId_turnover.tail(50).index.interp(productId_orderCount.tail(50).index)
    print(problem_productIds)

Int64Index([  14,  807,  599,  676,    7,  469,  577,  551,  318,  220,  528,
                 303,  314,  359,  629,  582,  985,  218,  578,  227,  277,  145,
                 855,  586,  958,   91,  856,  948,  859,  874,  806,  272,  392,
                  27,  460,  436,  468,  579,  868,  137,   16,  590,  247,  569,
                 242,  104,  621,  478,  310,  847,  454,  817,  597,  408,  986,
                 964, 1000,  347],
               dtype='int64', name='productId')

# city列分析可以和商品维度类似，不做演示
    # cityId_orderCount = df.groupby('cityId').count(['orderId'].sort_values(ascending=False)
    # cityId_payMoney = df.groupby('cityId').sum(['payMoney'].sort_values(ascending=False)

# price 价格分析
    # 价格是一个连续的值，需要进行区间分段分析
    # 观察每个区间-价格段的销量分析，可以得知那种价格区间的商品销售最好
    df.describe()
    # 价格最大值是229.56,最小值是0.06元

![format_png 6][]

# 按照10元的区间取分桶，
    bins = np.arange(0, 250, 10)
    pd.cut(df.price, bins).value_counts()
    # 有一些价格段没有数据，可以发现0-10元和10-20元的产品卖的是最多的
    # 价格大于100元的产品卖的很少了

(0, 10]       74757
    (10, 20]      18303
    (20, 30]       7123
    (30, 40]       2589
    (40, 50]        913
    (50, 60]        341
    (60, 70]        174
    (70, 80]         58
    (80, 90]         30
    (90, 100]        24
    (100, 110]       13
    (110, 120]        4
    (130, 140]        4
    (220, 230]        2
    (120, 130]        1
    (180, 190]        1
    (140, 150]        0
    (150, 160]        0
    (160, 170]        0
    (170, 180]        0
    (190, 200]        0
    (200, 210]        0
    (210, 220]        0
    (230, 240]        0
    Name: price, dtype: int64

# 直方图
    # 觉得尺寸小的话可以先设置下
    # plt.figure(figsize=(16, 16))
    plt.hist(df['price'], bins)
    # 可以看到做出来的图不是很好看和精细，
    # 那么为了更快的出图，可以将数据保存下来，导入excel
    # 或者Tableau,PowerBI中进行可视化

![format_png 7][]

# channelId
    # 渠道的分析类似于productId，可以得出成交量最多的渠道，订单数最多的渠道来自天猫还是京东
    # 渠道很多时候是需要花钱买流量的，所以还需要根据渠道的盈利情况和渠道成本进行综合比较，
    # 同时也可以渠道和商品等多个维度综合分析，看看不同渠道的卖的最好的商品是否相同

# 下单时间分析
    # 按小时的下单量分布，在下单时间多的时间段做推广
    # 中午12， 13， 14点下单比较多，应该是午休的时候，然后是晚上20点左右
    # 晚上20点左右几乎是所有互联网产品的一个高峰，对于电商互联网企业，下单高峰要注意网站的稳定性、可用性
    df['orderHour'] = df.createTime.dt.hour
    df.groupby('orderHour').count()['orderId'].plot()

![format_png 8][]

# 按照星期来看，周六下单最多，其次是周四周五
    df['orderWeek'] = df.createTime.dt.dayofweek
    df.groupby('orderWeek').count()['orderId']

orderWeek
    0    12503
    1    12489
    2    12933
    3    13794
    4    16200
    5    19496
    6    16922
    Name: orderId, dtype: int64

# 下单后多久支付
    
    def get_seconds(x):
        return x.total_seconds()
    
    df['payDelta'] = (df['payTime'] - df['createTime']).apply(get_seconds)
    
    bins = [0, 50, 100, 1000, 10000, 100000]
    pd.cut(df.payDelta, bins).value_counts()

(0, 50]            79235
    (100, 1000]        12899
    (50, 100]          10675
    (1000, 10000]        969
    (10000, 100000]      231
    Name: payDelta, dtype: int64

# 饼图
    # 绝大部分都在50s之内支付完成，说明用户基本很少犹豫，购买的目的性很强
    pd.cut(df.payDelta, bins).value_counts().plot(kind='pie', autopct='%d%%', figsize=(10, 10))

![format_png 9][]

# 月成交额
    # 先把创建订单的时间设置为索引
    df.set_index('createTime', inplace=True)
    # resample() 对时间索引的频率进行转换
    turnover = df.resample('M').sum()['payMoney']
    order_count = df.resample('M').count()['orderId']
    
    turnover.plot()

![format_png 10][]

# 月下单量
    order_count.plot()

![format_png 11][]

**                  ****  05   写在后面   ****               **

电商交易数据是对前几个案例学习的总结和加强版，我们要想熟练掌握Python数据分析，还是需要多动手练习。分析数据可以从两方面开始考虑，一个是维度，一个是指标，维度可以看做x轴，指标可以看成是y轴，同一个也维度可以分析多个指标。

数据清洗的策略是按列进行分析是否有重复值，异常值和缺失值，如果只有几行重复值和异常值，在数据量较大时可以直接删除。清洗的一个技巧是“重复数据后删除”，如果前几列的数据出现几十上百行重复或者有多行值为0，空值，这可能并不是真的重复或异常，而是有一行数据前几列重复后几列不同，因而不要盲目的将重复的数据删除，所有列都清洗后，再进行删除。

完成今天的学习之后，四个案例都学习完了，恭喜！如果前几天的学习没有打卡还可以补，周日晚12点截止打卡，下周举行结营仪，发放证书~

需要加群的同学，添加小助手微信 A2XF669 后,回复数字 4 拉你进入学习群，晚上八点半到九点半讨论，交流学习！

![format_png 12][]

[Day01| 第四期-北京积分落户数据分析][Day01_ _-]

[Day02| 第四期-阿里巴巴股票行情分析(一)][Day02_ _-]

[Day03| 第四期-阿里巴巴股票行情分析(二)][Day03_ _-]

[Day04| 第四期-谷歌应用商店的App分析][Day04_ _-_App]

![format_png 13][]

###     ###

[format_png]: /images/20230209/46423893408e4ec9a83ece36aa4f5d88.png
[format_png 1]: /images/20230209/6b13edff56d54acea19d0c1febc74693.png
[format_png 2]: /images/20230209/b033507c70eb43a48a8a6a83499fc3fe.png
[format_png 3]: /images/20230209/7230a44348264b80bca11506a036388c.png
[format_png 4]: /images/20230209/07b938cf7c474a2ca4b28aea278573cb.png
[format_png 5]: /images/20230209/1fe6a6123b5f441d824564b9c79720f0.png
[format_png 6]: /images/20230209/a4f9efd4947749209fc52d8c48fe390e.png
[format_png 7]: /images/20230209/aa8e7502f06641babf0deabbe6fc6767.png
[format_png 8]: /images/20230209/ad17ac6a048c41a8b923ee33e45b100a.png
[format_png 9]: /images/20230209/b431e3c491224aeabb35b8ca75d1e0ef.png
[format_png 10]: /images/20230209/81ba08cdd2724e4e86b80f6b041651d5.png
[format_png 11]: /images/20230209/7b973f8d6fff4cb4aa4602dd6c2bc3fc.png
[format_png 12]: /images/20230209/c93352537a7e4ea0897a3d0b27ddfe64.png
[Day01_ _-]: https://blog.csdn.net/weixin_40247412/article/details/107171838
[Day02_ _-]: https://blog.csdn.net/weixin_40247412/article/details/107194524
[Day03_ _-]: https://blog.csdn.net/weixin_40247412/article/details/107218696
[Day04_ _-_App]: https://blog.csdn.net/weixin_40247412/article/details/107241345
[format_png 13]: /images/20230209/88d8c30c984942caa63ffefb45b5bdb3.png