用Python网络爬虫来看看最近电影院都有哪些上映的电影

朴灿烈づ我的快乐病毒、 2022-12-08 05:29 155阅读 0赞

## 前言 ##

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

[python免费学习资料以及群交流解答点击即可加入][python]

--------------------

猫眼电影是淘宝联合打造电影分类最全的电影的平台，能够第一时间告知用户，最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]

获取猫眼电影的即将上映的电影详情。  
软件：PyCharm

需要的库：requests、lxml、random、time

插件：Xpath

网站如下：

https://maoyan.com/films?showType=2&offset={ }

点击下一页的按钮，观察到网站的变化分别如下：

https://maoyan.com/films?showType=2&offset=30
    https://maoyan.com/films?showType=2&offset=60
    https://maoyan.com/films?showType=2&offset=90

点击下一页时，页面每增加一页offset=()每次增加30，所以可以用\{\}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

## 项目实现 ##

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下所示。

import requests
    from lxml import etree
    
    import time
    import random
    
    class MaoyanSpider(object):
        def __init__(self):
          self.url = "https://maoyan.com/films?showType=2&offset={}"
    
        def main(self):
            pass
    
    if __name__ == '__main__':
        spider = MaoyanSpider()
        spider.main()

2、随机产生UserAgent。

for i in range(1, 50):
        # ua.random,一定要写在这里,每次请求都会随机选择。
            self.headers = { 
                'User-Agent': ua.random,
            }

3、发送请求，获取页面响应。

def get_page(self, url):
      # random.choice一定要写在这里,每次请求都会随机选择
      res = requests.get(url, headers=self.headers)
      res.encoding = 'utf-8'
      html = res.text
      self.parse_page(html)

4、xpath解析一级页面数据，获取页面信息。  
1）基准xpath节点对象列表。

# 　创建解析对象
    parse_html = etree.HTML(html)
    # 基准xpath节点对象列表
    dd_list = parse_html.xpath('//dl[@class="movie-list"]//dd')

2）依次遍历每个节点对象，提取数据。

for dd in dd_list:
        name = dd.xpath('.//div[@class="movie-hover-title"]//span[@class="name noscore"]/text()')[0].strip()
        star = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][3]/text()')[1].strip()
        type = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][2]/text()')[1].strip()
        dowld=dd.xpath('.//div[@class="movie-item-hover"]/a/@href')[0].strip()
        # print(movie_dict)
        movie = '''【即将上映】

5、定义movie，保存打印数据。

movie = '''【即将上映】 电影名字: %s 主演：%s 类型：%s 详情链接：https://maoyan.com%s ========================================================= ''' % (name, star, type,dowld)
    print( movie)

6、random.randint()方法，设置时间延时。

time.sleep(random.randint(1, 3))

7、调用方法，实现功能。

html = self.get_page(url)
    self.parse_page(html)

1、点击绿色小三角运行输入起始页，终止页。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]  
2、运行程序后，结果显示在控制台，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]  
3、点击蓝色下载链接, 网络查看详情。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]  
/6 小结/

1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

2、本文基于Python网络爬虫，利用爬虫库，实现爬取猫眼电影。

3、欢迎大家积极尝试，有时候看到别人实现起来很简单，但是到自己动手实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。

[python]: https://jq.qq.com/?_wv=1027&k=ThcV4SNF
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/0ab3fcc41c0a48fea394a3d80091394b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/a4b2fe3451ca418b80984e38b7eefa47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/ded965d8794f4406b66cb69f6c2c6721.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/30c0fe2bf8be4e6799ab136e14c3545b.png