什么品种的猫最受欢迎？Python爬取猫咪网站交易数据

迷南。 2022-10-28 14:26 254阅读 0赞

本篇文章是关于某化妆品企业的销售分析。从分析思路开始带大家一步步地用python进行分析，找出问题，并提出解决方案的整个流程。

以下文章来源于修炼Python

作者：叶庭云

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# **一、前言** #

看到可爱的猫咪表情包，总是会忍不住收藏，晒部分图如下：

![96814be184ec1bbf6a3d40f08539dfb4.gif][]

认识的一些朋友也养了猫，比如橘猫、英短、加菲猫之类的，看他们发朋友圈撸猫，老羡慕了，猫咪真的太可爱啦。发现一个专门交易猫猫的网站—猫猫交易网可以云看猫：**http://www.maomijiaoyi.com/**

![19a07d5963bdaa24e13339ba831e0d2e.gif][]

从这个网站里爬取了猫猫品种介绍的数据，以及 20W+ 条猫猫交易数据，以此来了解一下可爱的猫咪。

# **二、数据获取** #

打开猫猫交易网，先爬取猫咪品种数据，打开页面可以看到猫猫品种列表：

![f5a068c8293975e144c2b81f2cf4fc9d.png][]

但只显示了每种猫猫的品种名，参考价格，点进详情页，可以看到更加详细的数据：品种名、参考价格、中文学名、基本信息、性格特点、生活习性、优缺点、喂养方法等。

![48319ed04bd97cc54bf9dcf73c91ad29.png][]

检查网页，可以发现网页结构简单，容易解析和提取数据。爬虫代码如下：

import requests
    import re
    import csv
    from lxml import etree
    from tqdm import tqdm
    from fake_useragent import UserAgent
    
    # 随机产生请求头
    ua = UserAgent(verify_ssl=False, path='fake_useragent.json')
    
    def random_ua():        # 用于随机切换请求头
        headers = {
            "Accept-Encoding": "gzip",
            "Accept-Language": "zh-CN",
            "Connection": "keep-alive",
            "Host": "www.maomijiaoyi.com",
            "User-Agent": ua.random
        }
        return headers
    
    
    def create_csv():          # 创建保存数据的csv
        with open('./data/cat_kind.csv', 'w', newline='', encoding='utf-8') as f:
            wr = csv.writer(f)
            wr.writerow(['品种', '参考价格', '中文学名', '别名', '祖先', '分布区域',
                         '原产地', '体型', '原始用途', '今日用途', '分组', '身高',
                         '体重', '寿命', '整体', '毛发', '颜色', '头部', '眼睛',
                         '耳朵', '鼻子', '尾巴', '胸部', '颈部', '前驱', '后驱',
                         '基本信息', 'FCI标准', '性格特点', '生活习性', '优点/缺点',
                         '喂养方法', '鉴别挑选'])
    
    
    def scrape_page(url1):      # 获取HTML网页源代码 返回文本
        response = requests.get(url1, headers=random_ua())
        # print(response.status_code)
        response.encoding = 'utf-8'
        return response.text
    
    
    def get_cat_urls(html1):    # 获取每个品种猫咪详情页url
        dom = etree.HTML(html1)
        lis = dom.xpath('//div[@class="pinzhong_left"]/a')
        cat_urls = []
        for li in lis:
            cat_url = li.xpath('./@href')[0]
            cat_url = 'http://www.maomijiaoyi.com' + cat_url
            cat_urls.append(cat_url)
        return cat_urls
    
    
    def get_info(html2):    # 爬取每个品种猫咪详情页里的有关信息
        # 品种
        kind = re.findall('div class="line1">.*?<div class="name">(.*?)<span>', html2, re.S)[0]
        kind = kind.replace('\r','').replace('\n','').replace('\t','')
        # 参考价格
        price = re.findall('<div>参考价格：</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        price = price.replace('\r', '').replace('\n', '').replace('\t', '')
        # 中文学名
        chinese_name = re.findall('<div>中文学名:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        chinese_name = chinese_name.replace('\r', '').replace('\n', '').replace('\t', '')
        # 别名
        other_name = re.findall('<div>别名:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        other_name = other_name.replace('\r', '').replace('\n', '').replace('\t', '')
        # 祖先
        ancestor = re.findall('<div>祖先:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        ancestor = ancestor.replace('\r', '').replace('\n', '').replace('\t', '')
        # 分布区域
        area = re.findall('<div>分布区域:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        area = area.replace('\r', '').replace('\n', '').replace('\t', '')
        # 原产地
        source_area = re.findall('<div>原产地:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        source_area = source_area.replace('\r', '').replace('\n', '').replace('\t', '')
        # 体型
        body_size = re.findall('<div>体型:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        body_size = body_size.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 原始用途
        source_use = re.findall('<div>原始用途:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        source_use = source_use.replace('\r', '').replace('\n', '').replace('\t', '')
        # 今日用途
        today_use = re.findall('<div>今日用途:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        today_use = today_use.replace('\r', '').replace('\n', '').replace('\t', '')
        # 分组
        group = re.findall('<div>分组:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        group = group.replace('\r', '').replace('\n', '').replace('\t', '')
        # 身高
        height = re.findall('<div>身高:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        height = height.replace('\r', '').replace('\n', '').replace('\t', '')
        # 体重
        weight = re.findall('<div>体重:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        weight = weight.replace('\r', '').replace('\n', '').replace('\t', '')
        # 寿命
        lifetime = re.findall('<div>寿命:</div>.*?<div>(.*?)</div>', html2, re.S)[0]
        lifetime = lifetime.replace('\r', '').replace('\n', '').replace('\t', '')
        # 整体
        entirety = re.findall('<div>整体</div>.*?.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        entirety = entirety.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 毛发
        hair = re.findall('<div>毛发</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        hair = hair.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 颜色
        color = re.findall('<div>颜色</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        color = color.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 头部
        head = re.findall('<div>头部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        head = head.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 眼睛
        eye = re.findall('<div>眼睛</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        eye = eye.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 耳朵
        ear = re.findall('<div>耳朵</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        ear = ear.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 鼻子
        nose = re.findall('<div>鼻子</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        nose = nose.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 尾巴
        tail = re.findall('<div>尾巴</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        tail = tail.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 胸部
        chest = re.findall('<div>胸部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        chest = chest.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 颈部
        neck = re.findall('<div>颈部</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        neck = neck.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 前驱
        font_foot = re.findall('<div>前驱</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        font_foot = font_foot.replace('\r', '').replace('\n', '').replace('\t', '').strip()
        # 后驱
        rear_foot = re.findall('<div>前驱</div>.*?<div></div>.*?<div>(.*?)</div>', html2, re.S)[0]
        rear_foot = rear_foot.replace('\r', '').replace('\n', '').replace('\t', '').strip()
    
        # 保存前面猫猫的各种有关信息
        cat = [kind, price, chinese_name, other_name, ancestor, area, source_area,
               body_size, source_use, today_use, group, height, weight, lifetime,
               entirety, hair, color, head, eye, ear, nose, tail, chest, neck, font_foot, rear_foot]
    
        # 提取标签栏信息（基本信息-FCI标准-性格特点-生活习性-优缺点-喂养方法-鉴别挑选）
        html2 = etree.HTML(html2)
        labs = html2.xpath('//div[@class="property_list"]/div')
        for lab in labs:
            text1 = lab.xpath('string(.)')
            text1 = text1.replace('\n','').replace('\t','').replace('\r','').replace(' ','')
            cat.append(text1)
        return cat
    
    
    def write_to_csv(data):     # 保存数据  追加写入
        with open('./data/cat_kind.csv', 'a+', newline='', encoding='utf-8') as fn:
            wr = csv.writer(fn)
            wr.writerow(data)
    
    
    if __name__ == '__main__':
        # 创建保存数据的csv
        create_csv()
        # 猫咪品种页面url
        base_url = 'http://www.maomijiaoyi.com/index.php?/pinzhongdaquan_5.html'
        # 获取品种页面中的所有url
        html = scrape_page(base_url)
        urls = get_cat_urls(html)
        # 进度条可视化运行情况    就不打印东西来看了
        pbar = tqdm(urls)
        # 开始爬取
        for url in pbar:
            text = scrape_page(url)
            info = get_info(text)
            write_to_csv(info)

运行效果如下：

![0ca0ecb32d576ac291e89f784c0ad810.gif][]

成功爬取了猫咪品种数据保存到csv，接下来爬取猫猫交易数据，进入到买猫卖猫页面：

![a25b74aabdde75d56360ead69d204440.gif][]

爬取更详细的数据需要进入详情页，包含商家信息、猫咪品种、猫龄、价格、标题、在售只数、预防等信息。

![2e76e8da23efa2b7ce0669ef10a33006.png][]

由于数据量较大，可以分开爬取，先获取到每一页中的所有猫猫详情交易链接的 url 保存到csv，再读取 csv 中的 url 来请求，爬取每条交易数据，爬虫思路跟前面类似，为了加快爬取效率，可以使用多线程或者异步爬虫。最终获取了 20W+ 条数据。

# **三、数据探索** #

通过词云图来直观看一下，可爱的猫咪都有那些品种。

![124ad22ad691aa60f44b064488e36bb1.png][]

看各种猫咪的体型分布

![4767f057387b718378423ba250868513.png][]

所有品种的猫咪里，大型的只有一个品种，是布偶猫，其他品种都是中小型，那以后看见体型比较大的，可以先想到布偶猫。

![6ade242050c2171ede8186f639b821c7.png][]

橘猫是世界各地都有的，不愧是我大橘猫。俗话说 "十个橘猫九个胖还有一个压塌炕"。橘猫比起其他花色的猫咪更喜欢吃东西，它们的食欲很好，能更好地生存，可能这也是橘猫在世界范围都有的原因吧。可它却是小型猫，橘猫小时候颜值一般挺高，看起来小小的一只，又嫩又可爱的，但等橘猫长大以后，才真正地意识到什么是 "橘足轻重"。

![cfa1d1dc618942a29bb4236303ab503f.gif][]

下面来看猫咪的交易数据，在交易的猫咪中，哪些品种交易数量最多呢？

![83d08da793607b0c33a93351818087f3.png][]

橘猫的交易数量最多呀，之前也提到橘猫世界各地都有，从这里也可以看到橘猫数量最多。其次是咖啡猫，布偶猫，英短蓝白猫等。

![fc07f6d53ea070b2a7ebc5e066b90661.png][]

缅因猫、布偶猫均价名列前茅啊，橘猫的均价排倒数第二，看来挺实惠。

这些售卖的猫咪猫龄一般为多大呢？

![d5902acac79dc42a3814bfc64010dc91.png][]

售卖的猫咪猫龄主要在1-6个月，都是刚出生还未满半岁的小猫咪呀。这时候的小猫咪应该很可爱吧，等待有缘的主人把它带回家。

最后来看一下网站里价格最贵的猫咪和浏览次数最多的猫咪

import pandas as pd
    
    df = pd.read_excel('处理后数据.xlsx')
    print(df.info())
    df1 = df.sort_values(by='浏览次数', ascending=False)
    print(df1.iloc[:3, ::].values)
    print('----------------------------------------------------------')
    df2 = df.sort_values(by='价格', ascending=False)
    print(df2.iloc[:3, ::].values)

# 浏览次数最多的
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_441879.html
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_462431.html
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_455366.html

![ddbde244437fdd384a3d885f8cc34d63.png][]

浏览次数最多的是这一家卖的缅因猫，浏览次数为16164。emmm，感觉这种猫咪看着还挺凶的，不怎么可爱。

![57f4f03dcfac712ab5b992cb229dbd67.png][]

![1a2a85cd3194d6d31f600430ed86c5d2.png][]

反观浏览次数排第二、第三的，价格便宜不少，预防都打了3针疫苗，在售只数还比较充裕，还比第一可爱好多（个人感觉）。

# 价格最贵的如下
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_265770.html
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_281910.html
    http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_230417.html

![ee535928077a1bd65cd97ab572c85671.png][]

![082b0e3fe142a21061dc3d5ae532a172.png][]

![02d8e25878116fc0bf01071b07b78bb1.png][]

价格最贵的发现均为 3000 元的布偶猫。查阅资料发现，布偶猫，大型猫咪，不仅购买的时候价格高昂，饲养成本也比较高，因为食量和运动量都比较大，而且美容等相关费用也会高一些。

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/85144e369eb4411a8b6732d5d03dffe5.png
[96814be184ec1bbf6a3d40f08539dfb4.gif]: /images/20221024/fd1d2bebfaf04d8bba80e9b7fbb56e7e.png
[19a07d5963bdaa24e13339ba831e0d2e.gif]: /images/20221024/3d64b6226d4a442cb3a767d5ae495467.png
[f5a068c8293975e144c2b81f2cf4fc9d.png]: /images/20221024/de1addc673a144e6b468d47dc2a38a6d.png
[48319ed04bd97cc54bf9dcf73c91ad29.png]: /images/20221024/711c029ee5a14e01869624a0286e0836.png
[0ca0ecb32d576ac291e89f784c0ad810.gif]: /images/20221024/ee660f933e114f2aadfdf6ce58040228.png
[a25b74aabdde75d56360ead69d204440.gif]: /images/20221024/9d8abfc2f14042d6b16dee2af904190a.png
[2e76e8da23efa2b7ce0669ef10a33006.png]: /images/20221024/f7fed0d2acef455b96b3a8afb8e1fa4a.png
[124ad22ad691aa60f44b064488e36bb1.png]: /images/20221024/6a28f32c97514f79983326c5b170774f.png
[4767f057387b718378423ba250868513.png]: /images/20221024/5527f6a055474c1ca0f2eda39e31502b.png
[6ade242050c2171ede8186f639b821c7.png]: /images/20221024/16e090c5245e4e5eb8935a50bb9158a2.png
[cfa1d1dc618942a29bb4236303ab503f.gif]: /images/20221024/da638534fa784b40aaa6e717462e9621.png
[83d08da793607b0c33a93351818087f3.png]: /images/20221024/3ffee6a9eac945f7b2f6bbb745dbb9fe.png
[fc07f6d53ea070b2a7ebc5e066b90661.png]: /images/20221024/37d934297b3c4c90ba39641212bc1bc0.png
[d5902acac79dc42a3814bfc64010dc91.png]: /images/20221024/e51f5ca1ad5f4b3f905583b6388f79b7.png
[ddbde244437fdd384a3d885f8cc34d63.png]: /images/20221024/0b312771771f4c39a15878669307cbc1.png
[57f4f03dcfac712ab5b992cb229dbd67.png]: /images/20221024/df603be2a56644bba707dec102b6e5f4.png
[1a2a85cd3194d6d31f600430ed86c5d2.png]: /images/20221024/4064c3d9fcd64bcbb1ca1eee97daceb8.png
[ee535928077a1bd65cd97ab572c85671.png]: /images/20221024/4da3c0f57e5747fda39ac26987a1bedb.png
[082b0e3fe142a21061dc3d5ae532a172.png]: /images/20221024/595527db782a47c19342fdae909e862b.png
[02d8e25878116fc0bf01071b07b78bb1.png]: /images/20221024/730db47882474c5091b1a55d5c608ee7.png