Python | 分析 Ajax 爬取今日头条街拍美图

古城微笑少年丶 2022-05-14 12:36 223阅读 0赞

> 微信公众号：一个优秀的废人  
> 如有问题或建议，请后台留言，我会尽力解决你的问题。

![安吉丽娜朱莉][1240]

#### 前言 ####

许久不见，我是阿狗。我的主业是 java web 开发，学 Python 只是单纯地认为这是一个风口，我不是猪，也想飞起来。所以，我选择在业余时间先学为敬。今天给你们带来的是今日头条街拍美图的爬取：分析 Ajax 爬取今日头条街拍美图。

#### 环境 ####

这次实战采取的是 wi10 + python3.6 + PyCharm 的开发环境。另外，还用到了 requests 、urllib、hashlib、multiprocessing 这几个库。其中，requests 用于网络请求；urllib 的 urlencode 模块用于构造请求参数；hashlib 的 md5 模块用于构建一个唯一的图片名，防止重复，造成出错；multiprocessing 的 pool 模块用于开启多线程，加快爬取速度。

#### 思路 ####

爬虫之前，第一就是明确我们的爬取对象，也就是我的目的是爬取这个网站的什么东西，那么这里我们爬取的是搜索结果前二十页，每一页每一项的组图以及对应每组的标题。

首先是打开今日头条网页版首页 [https://www.toutiao.com/][https_www.toutiao.com]。在搜索框输入街拍，之后打开开发者工具（在浏览器当前页面按F12）分析网页请求参数。

![搜索结果][1240 1]

在开发者工具可以看见，在 Network 下的 All 选项卡中的请求是非常多的，我们无法分辨哪一个是真正的网页 Ajax 请求。这时切换到 XHR 选项卡，这个选项卡里面出现的就是 Ajax 请求。那我们尝试打开请求的参数以及返回的内容是否与页面匹配。

![查找爬取对象][1240 2]

点击该请求，切换到 preview 选项下，这里就是 chrome 开发者工具 json 格式化的该请求的返回结果。结果中有一个 data 字段，这个字段包含了当前页面的所有美图，展开第一个之后发现它的 title 字段内容就跟我们页面上渲染出来的内容相匹配。而每一项都有一个 image\_list 字段，这个字段包含了这一项的所有图片。 如上图所示，title 表示第一项的标题，image\_list 表示这一项的组图。继续展开 image\_list 分析。

![image\_list分析][image_list]

如上图，看见 image\_list 展开后的 url 就是我们要爬取的图片所在。也就是说我们打开搜索页面之后，还要获取 image\_list 里面包含的 url ，再次访问这些 url 才能得到我们想要的图片，image\_list 里面的每一个 url 就代表该组内的每一张图片。那请求参数是什么呢？

![请求参数及规律][1240 3]

点击该请求 [https://www.toutiao.com/search\_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur\_tab=1&from=search\_tab][https_www.toutiao.com_search_content_offset_0_format_json_keyword_E8_A1_97_E6_8B_8D_autoload_true_count_20_cur_tab_1_from_search_tab]，切换到 header 选项下，发现请求参数如图，这是一个 get 请求，请求参数有 offset、 format、keyword、autoload、count、cur\_tab、from；而每次下拉加载只有 offset 是变化的。每次请求 +20。也就是每次下拉请求当前页面就会多加载出 20 组图片。至此真相大白，我们要爬取的内容找到了，请求参数的规律也有了。下面就进入实战演练。

#### 加载单个 Ajax 请求 ####

实现 get\_page 方法用于加载单个 Ajax 请求，其中 offset 是变化的。所以把它当做参数传递进来。代码如下：

def get_page(offset):
        #构造参数
        params = {
            'offset': offset,
            'format': 'json',
            'keyword': '街拍',
            'autoload': 'true',
            'count': '20',
            'cur_tab': '1',
            'from': 'search_tab',
        }
        # headers, 伪装成浏览器
        headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                        'AppleWebKit/537.36 (KHTML, like Gecko) '
                        'Chrome/68.0.3440.106 Safari/537.36'
        }
        url = 'https://www.toutiao.com/search_content/?' + urlencode(params)
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                return response.json()
        except requests.ConnectionError:
            return None

其中要注意的就是，header 参数一定要加上。否则的话，浏览器会认为你是非法请求从而报错。header 在你当前请求的 header 窗口可以直接复制，不懂直接网上搜就懂了。

#### 解析方法 ####

实现一个解析方法，用于提取每条数据的 image\_list 字段的每一张图片链接，将图片链接以及图片所属标题一并返回，此时可以构造一个生成器（不懂的，看前面的 Python 基础文章，或者看菜鸟教程）。代码如下：

def get_images(json):
        if json.get('data'):
            for item in json.get('data'):
                title = item.get('title', "nasus")
                images = item.get('image_list', [])
                for image in images:
                    yield{
                      'image': 'http:'+image.get('url'),
                      'title': title
                    }

这里需要提一下的是第五行后面的 \[ \]。这里加上是防止某些 image\_list 为空类型，造成无法生成迭代器而报错。

#### 保存图片 ####

实现一个保存图片的方法，其中 item 就是前面 get\_images 方法返回的一个字典，在该方法中以该 item 的 title 来创建文件夹，然后请求该图片链接，获取其二进制数据并写入文件。图片名称使用其内容的 md5 值防止重复。代码如下：

def save_image(item):
        if not os.path.exists(item.get('title')):
            os.mkdir(item.get('title'))
        try:
            # headers, 伪装成浏览器
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                              'AppleWebKit/537.36 (KHTML, like Gecko) '
                              'Chrome/68.0.3440.106 Safari/537.36'
            }
            response = requests.get(item.get('image'), headers=headers)
            if response.status_code == 200:
                file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
                if not os.path.exists(file_path):
                    with open(file_path, 'wb') as f:
                        f.write(response.content)
                else:
                    print('Already Download', file_path)
        except requests.ConnectionError:
            print('Fail to Save Image')

#### 启动函数 ####

只需要构造一个 offset 数组，开启多线程遍历 offset ，提取图片链接，访问并将其下载即可。  
代码如下：

def main(offset):
        json = get_page(offset)
        for item in get_images(json):
            print(item)
            save_image(item)
    
    
    GROUP_START = 1
    GROUP_END = 20
    
    if __name__ == '__main__':
        pool = Pool()
        groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
        pool.map(main, groups)
        pool.close()
        pool.join()
        # for i in range(GROUP_END):
        # main(i*GROUP_END)

这样整个程序就完成了。运行之后发现每组街拍美图都按标题分文件夹保存下来了。

![爬取结果][1240 4]  
最后附上完整代码：

import requests
    import os
    from urllib.parse import urlencode
    from hashlib import md5
    from multiprocessing.pool import Pool
    
    def get_page(offset):
        #构造参数
        params = {
            'offset': offset,
            'format': 'json',
            'keyword': '街拍',
            'autoload': 'true',
            'count': '20',
            'cur_tab': '1',
            'from': 'search_tab',
        }
        # headers, 伪装成浏览器
        headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                        'AppleWebKit/537.36 (KHTML, like Gecko) '
                        'Chrome/68.0.3440.106 Safari/537.36'
        }
        url = 'https://www.toutiao.com/search_content/?' + urlencode(params)
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                return response.json()
        except requests.ConnectionError:
            return None
    
    def get_images(json):
        if json.get('data'):
            for item in json.get('data'):
                title = item.get('title', "nasus")
                images = item.get('image_list', [])
                for image in images:
                    yield{
                      'image': 'http:'+image.get('url'),
                      'title': title
                    }
    
    def save_image(item):
        if not os.path.exists(item.get('title')):
            os.mkdir(item.get('title'))
        try:
            # headers, 伪装成浏览器
            headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                              'AppleWebKit/537.36 (KHTML, like Gecko) '
                              'Chrome/68.0.3440.106 Safari/537.36'
            }
            response = requests.get(item.get('image'), headers=headers)
            if response.status_code == 200:
                file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
                if not os.path.exists(file_path):
                    with open(file_path, 'wb') as f:
                        f.write(response.content)
                else:
                    print('Already Download', file_path)
        except requests.ConnectionError:
            print('Fail to Save Image')
    
    def main(offset):
        json = get_page(offset)
        for item in get_images(json):
            print(item)
            save_image(item)
    
    GROUP_START = 1
    GROUP_END = 20
    
    if __name__ == '__main__':
        pool = Pool()
        groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
        pool.map(main, groups)
        pool.close()
        pool.join()
        # for i in range(GROUP_END):
        # main(i*GROUP_END)

通过这篇文章，初步了解了 Ajax 的分析过程，以及 Ajax 的分页模拟和图片下载过程，代码非常的简单，但是也建议初学者自己动手实践一下，虽然很简单，但千万不能有所见即所得的想法，有时你可能会遇到意想不到的坑，所谓大神也是踩坑、填坑不断循环这个过程锻炼而来的。

最后，如果对 Python 、Java 感兴趣请长按二维码关注一波，我会努力带给你们价值，赞赏就不必了，能力没到，受之有愧。我会告诉你关注之后回复 **爬虫** 可以领取一份最新的爬虫教学视频吗？

![一个优秀的废人][1240 5]

[1240]: /images/20220514/1c42a1bd51564c82ac026386f2674213.png
[https_www.toutiao.com]: https://www.toutiao.com/
[1240 1]: /images/20220514/ddee7880193341ada3d7902c0b0cdb5b.png
[1240 2]: /images/20220514/3eeeed46ed5c4543b842c5ddc8e39121.png
[image_list]: /images/20220514/c680e9f08df442ef91bc1555f0908b04.png
[1240 3]: /images/20220514/fe3a65c29f714056aae3a7bf3507375c.png
[https_www.toutiao.com_search_content_offset_0_format_json_keyword_E8_A1_97_E6_8B_8D_autoload_true_count_20_cur_tab_1_from_search_tab]: https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search_tab
[1240 4]: /images/20220514/fe813b8c3b444e249d947b48fa3ada9b.png
[1240 5]: /images/20220514/cf2bdb5aef4e472686efd58b2c9c56bb.png