【Python爬虫】豆瓣电影

桃扇骨 2022-12-14 03:51 265阅读 0赞

## 需求 ##

**爬取豆瓣电影分类排行榜中的电影详情数据。**

## 分析 ##

进入豆瓣电影分类排行榜 - 喜剧片页面，可以发现该页面向下滚动刷新，是进行局部刷新的，可以通过ajax实现。打开开发者工具，找到url、User-Agent，数据包的请求方式以及数据包响应数据的类型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center]  
可以看到请求方式是get，响应数据类型是json，所以使用requests.get()方式发起请求，使用json()方法获取相应对象。  
因为页面是可以刷新获取更多电影信息的，我们需要进行动态参数处理。在数据包的Headers框中的最下方有五个参数，它们就是要处理的参数。其中，start表示从库中的第几部电影去取，limit表示一次取出的个数。我们可以对这两个参数任意进行操作。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 1]

## 代码 ##

import requests
    import json
    
    if __name__ == '__main__':
        url = 'https://movie.douban.com/j/chart/top_list'
        param = { 
            'type': '24',
            'interval_id': '100:90',
            'action': '',
            'start': '0',  # 表示从库中的第几部电影去取
            'limit': '20',  # 一次取出的个数
        }
    
        headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'}
        response = requests.get(url=url, params=param, headers=headers)
    
        list_data = response.json()
    
        fp =open('douban.json', 'w', encoding='utf-8')
        json.dump(list_data, fp=fp, ensure_ascii=False)
    
        print('over!!!')

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/8a2dbaa1c026485aa0bc6f0416f83807.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pEXzAxMg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/970e328280164468bbef7b00705131ea.png