用Python爬取大众点评数据，推荐火锅店里最受欢迎的食品

一时失言乱红尘 2023-07-20 05:40 1阅读 0赞

## ![format_png][]**前言** ##

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：有趣的Python

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun

首先笔者定位为成都，美食类型选的“火锅”，火锅具体类型选的不限，区域选的不限，排序选的智能，如图：

![format_png 1][]

你也可以选择别的选项，只是注意URL的变化。本文都是按照上述选项爬取的数据。接下来翻页观察一下URL的变化：

**第二页：**

![format_png 2][]

**第三页：**

![format_png 3][]

很容易观察出翻页变化的知识p后面的数字，倒推回第一页，发现一样的显示内容，因此，写一个循环，便可以爬取全部页面。

但是大众点评只提供了前50页的数据，所以，我们也只能爬取前50页。

这一次，笔者用的pyquery来分析网页的，所以我们需要定位到我们所爬取的数据的位置，如图：

![format_png 4][]

在具体分析的网页的时候，我震惊了，大众点评的反爬做的太过分了，它的数字，一些文字居然都不是明文显示，而是代码，你还不知道怎么分析它。如图：

![format_png 5][]

很烦的，一些文字又可以显示，一些又用代码表示。一些数字也是，不过好一点的是数字只有9个，只要稍微观察一下，就能发现数字的代码是什么了。这里笔者列出来了。 \{'hs-OEEp': 0, 'hs-4Enz': 2, 'hs-GOYR': 3, 'hs-61V1': 4, 'hs-SzzZ': 5, 'hs-VYVW': 6, 'hs-tQlR': 7, 'hs-LNui': 8, 'hs-42CK': 9\}。值得注意的是，数字1，是用明文表示的。

那么，如何用pyquery来定位呢，很简单，你找到你要获取的数据，然后右键→copy→cut selector，你复制到代码里面就OK了。pyquery的具体用法百度既有。

![format_png 6][]

最后，我们获取了火锅50个页面的数据，每页15个数据，一共750家餐厅的数据。

![format_png 7][]

**分析**

大众点评已经给出了星级评价，可以看看大致趋势。

![format_png 8][]

准五星商户最多，可能因为大部分食客都习惯给好评，只有实在不满时才会打出低评有关，造成了评级一般不低，但近满分还是蛮少的。

在本文，我们假设评论数目为饭店的热度，也就是它越火，评论数目越多。

![format_png 9][]

评论数目大多在1000以内，但是高于2000，甚至高于4000也还存在一些，这些饭店应该是一些网红店。以5000为约束，筛选出饭店均为小龙坎、蜀大侠都非常知名的火锅店。那么评论数量和星级有关系吗？看下图：

![format_png 10][]

这里取其评论数平均值，发现对于四星以上商户来说，评论数和星级并不关系，但均比低于四星的饭店销量更好。这说明在四星以上之后，人们选择差别不大，但一般不愿意接受评论太差的饭店。

对于笔者这样的学生党来说，影响较大还有人均消费情况。

![format_png 11][]

成都的火锅店人均消费大部分都在50-100的区间内，高于150的也有一些。对于笔者来讲，吃一顿火锅，人均在50-100是可以接受的，高于100，就要低头看看钱包了（）。那扩展看，人均消费和星级、评论数量有关系吗？

![0d30ff5a0a9a44319987adddc3c30d54][]![uploading.4e448015.gif][]转存失败重新上传取消![0d30ff5a0a9a44319987adddc3c30d54][]

上图是人均消费和星级的关系，看起来并无任何关系，那说明一些口碑好的火锅店，其实人均也不贵。下面看看人均和评论数目的关系吧。

![format_png 12][]

通过比较，发现评论数目低于500，人均在50-100区间是最多的。当然这肯定和评论数量、人均消费本身集中于这一阶段有关。

吃火锅，一家店的生意好坏，肯定还和它的特色菜有关，笔者通过jieba分词，将爬取到的推荐菜做了一个词云图，如下。

![format_png 13][]

笔者最爱的牛肉是特色菜之最啊，尤其是麻辣牛肉，只要去吃火锅，都要来上一份，其次是毛肚、虾滑、鹅肠等等。

接下来是大家都关心的，口味、环境和服务的情况。

![format_png 14][]

三者得分大多都是集中在8.0-9.2这一阶段，笔者认为，低于7.5分的饭店还是不要去尝试了。同时，星级评价应该也是由这三者得分产生的。

![format_png 15][]

![format_png 16][]

![format_png 17][]

果然如预想的一向，星级评价越好，它在口味、环境和服务的得分越高。那么口味，环境，服务得分与评论数量，平均价格有关系吗？

![dcdf1fe14b5949478a316ccba1bbd621][]![uploading.4e448015.gif][]转存失败重新上传取消![dcdf1fe14b5949478a316ccba1bbd621][]

如图所看，并无什么直接关系，但是我们发现口味、环境和服务三者之间存在着非常好的线性关系，于是单独拿出来画了一个较大的图。

![format_png 18][]

我们并且拟合了线性关系，由于三星商户只有一家，它的情况较为特殊之外，其他星级在口味、环境和服务的关系拟合中保持的相当一致，这也证明我们的猜想，这些变量之间存在线性关系。鉴于笔者本文最大的目的是做推荐，于是，我们进行了K-means聚类，这里取K为3，并且把星级转换为数字，五星对应5分，准五星对应4.5分，以此类推。最终得到了三类，通过作图，看看聚类情况如何吧。

![format_png 19][]

和我们想要的结果一致，在口味、环境、服务和星级上得分越高，我们就越推荐。然而推荐的店铺还是好多，能不能在集中一些呢？于是通过限制评论数量、人均消费和特色菜来进行推荐。由于笔者喜欢人少，便宜还有牛肉的店铺，这里得到了如下的结果：

![format_png 20][]

## **代码** ##

import time
    import requests
    from pyquery import PyQuery as pq
    import pandas as pd
    
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
    
    def restaurant(url):
        # 获取网页静态源代码
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                return response.text
        except Exception:
            return None
    
    name=[]
    url = [] 
    star = []
    comment = []
    avg_price = []
    taste = []
    environment = []
    services = []
    recommend = []
    
    num = {'hs-OEEp': 0, 'hs-4Enz': 2, 'hs-GOYR': 3, 'hs-61V1': 4, 'hs-SzzZ': 5, 'hs-VYVW': 6, 'hs-tQlR': 7, 'hs-LNui': 8, 'hs-42CK': 9}
    def detail_number(htm):
        try:
            a = str(htm)
            a = a.replace('1<', '<span class="1"/><')
            a = a.replace('.', '<span class="."/>')
            b = pq(a)
            cn = b('span').items()
            number = ''
            for i in cn:
                attr = i.attr('class')
                if attr in num:
                    attr = num[attr]
                number = number + str(attr)
            number = number.replace('None', '')
        except:
            number = ''
        return number
    
    def info_restaurant(html):
        # 获取饭店的名称和链接
        doc = pq(html)
        for i in range(1,16):
            #获取饭店名称
            shop_name = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.tit > a:nth-child(1) > h4').text()
            if shop_name == '':
                break
            name.append(shop_name)
            #获取饭店链接
            url.append(doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.pic > a').attr('href'))
            try:
                star.append(doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.comment > span').attr('title'))
            except:
                star.append("")
            #获取评论数量
            comment_html = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.comment > a.review-num > b')
            comment.append(detail_number(comment_html))
            #获取人均消费
            avg_price_html = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.comment > a.mean-price > b')
            avg_price.append(detail_number(avg_price_html))
            #获取口味评分
            taste_html = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > span > span:nth-child(1) > b')
            taste.append(detail_number(taste_html))
            #获取环境评分
            environment_html = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > span > span:nth-child(2) > b')
            environment.append(detail_number(environment_html))
            #获取服务评分
            services_html = doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > span > span:nth-child(3) > b')
            services.append(detail_number(services_html))
            #推荐菜,都是显示三道菜
            try:
                recommend.append(doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.recommend > a:nth-child(2)').text()+str(',')+\
                                doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.recommend > a:nth-child(3)').text()+str(',')+\
                                doc('#shop-all-list > ul > li:nth-child('+str(i)+') > div.txt > div.recommend > a:nth-child(4)').text())
            except:
                recommend.append("")
    for i in range(1,51):
        print('正在获取第{}页饭店信息'.format(i))
        hotpot_url = 'http://www.dianping.com/chengdu/ch10/g110p'+str(i)+'?aid=93195650%2C68215270%2C22353218%2C98432390%2C107724883&cpt=93195650%2C68215270%2C22353218%2C98432390%2C107724883&tc=3'
        html = restaurant(hotpot_url)
        info_restaurant(html)
        print ('第{}页获取成功'.format(i))
        time.sleep(12)
    
    shop = {'name': name, 'url': url, 'star': star, 'comment': comment, 'avg_price': avg_price, 'taste': taste, 'environment': environment, 'services': services, 'recommend': recommend}
    shop = pd.DataFrame(shop, columns=['name', 'url', 'star', 'comment', 'avg_price','taste', 'environment', 'services', 'recommend'])
    shop.to_csv("shop.csv",encoding="utf_8_sig",index = False)

[format_png]: /images/20230528/ef5a4cd6a73a451997675dcbe19e9eba.png
[format_png 1]: /images/20230528/8da645cddcc1414492e33bd4b34df9c7.png
[format_png 2]: /images/20230528/0883fce36c6947a98bbbeb83546a21c2.png
[format_png 3]: /images/20230528/e007fa14df5042069963ae9cfa0037c0.png
[format_png 4]: /images/20230528/d9d85118ab584a0c8ccd14734720df97.png
[format_png 5]: /images/20230528/10d32c994d9d4f2fae5e60a5b7d60507.png
[format_png 6]: /images/20230528/49f5590fc8ec4e34920cb3058279f500.png
[format_png 7]: /images/20230528/3f67bdf46f974e26b658c97c2c5034c2.png
[format_png 8]: /images/20230528/ea2ae04709d74062b4c0df8205ddc667.png
[format_png 9]: /images/20230528/0c389154e249499fbe1b3e219eb43a67.png
[format_png 10]: /images/20230528/df33d38fb9e341d7b70af49ecebe758e.png
[format_png 11]: /images/20230528/fbfa86369f124b469dd6a6ca841c4d9f.png
[0d30ff5a0a9a44319987adddc3c30d54]: /images/20230528/d2d16b91eba94f9e8b0d800199245bac.png
[uploading.4e448015.gif]: https://csdnimg.cn/release/mp/img/uploading.4e448015.gif
[format_png 12]: /images/20230528/635da8662bf14dd18e82438df9d75f26.png
[format_png 13]: /images/20230528/b81e9302915d47f8820eaf8f32fcc386.png
[format_png 14]: /images/20230528/9b32266312bf40b489c2b607c8823b01.png
[format_png 15]: /images/20230528/2a86d3972ef14e47b6eeb4d23701b1ad.png
[format_png 16]: /images/20230528/3f4502b1295d4c03b6e7a7b179acf42d.png
[format_png 17]: /images/20230528/a09f2c59d6af46a9a7a1f6b9a46f51e3.png
[dcdf1fe14b5949478a316ccba1bbd621]: /images/20230528/226eb2671b0e483ba1e322cd0baa7755.png
[format_png 18]: /images/20230528/58d50e0ad96c4552b6032f87714f6048.png
[format_png 19]: /images/20230528/fa4ee0a7c44844d5bbf0c46c8f42bce6.png
[format_png 20]: /images/20230528/bbbfbbf43ea84b6ba46bf7e6159abe57.png