Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片

矫情吗；* 2022-01-17 16:55 378阅读 0赞

### Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片 ###

> **其实没太大用，就是方便一些，因为现在各个平台之间的图片都不能共享，比如说在 CSDN 不能用简书的图片，在博客园不能用 CSDN 的图片。  
> 当前想到的方案就是：先把 CSDN 上的图片都下载下来，再手动更新吧。  
> 所以简单写了一个爬虫用来下载 CSDN 平台上的图片，用于在其他平台上更新图片时用**

更多内容，请看代码注释

#### 效果演示 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]

#### Python 源代码 ####

提示： 需要先下载 BeautifulSoup 哦，可以用 pip，也可以直接在 PyCharm 中安装  
**简单的方法：**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]

# coding:utf-8
    ''' 使用爬虫下载图片： 1.使用 CSDN 博客 2.获取图片连接，并下载图片 3.可去除水印 作者：java997.com '''
    
    import re
    from urllib import request
    from bs4 import BeautifulSoup
    import datetime
    
    
    # 构造无水印纯链接数组
    def get_url_array(all_img_href):
        img_urls = []
        for h in all_img_href:
            # 去掉水印
            if re.findall("(.*?)\?", h[1]):
                h = re.findall("(.*?)\?", h[1])
                # 因为这里匹配就只有 src 了, 所以直接用 0
                img_urls.append(h[0])
            else:
                # 因为这里还没有处理有 alt 的情况, 所以直接用 1
                img_urls.append(h[1])
    
        return img_urls
    
    
    # 构建新目录的方法
    def mkdir(path):
        # 引入模块
        import os
    
        # 去除首位空格
        path = path.strip()
        # 去除尾部 \ 符号
        path = path.rstrip("\\")
    
        # 判断路径是否存在
        # 存在 True
        # 不存在 False
        isExists = os.path.exists(path)
    
        # 判断结果
        if not isExists:
            # 如果不存在则创建目录
            # 创建目录操作函数
            os.makedirs(path)
    
            print('目录 ' + path + ' 创建成功')
            return True
        else:
            # 如果目录存在则不创建，并提示目录已存在
            print('目录 ' + path + ' 已存在')
            return False
    
    
    if __name__ == '__main__':
    
        # url = input("请粘贴博客链接")
        url = "https://blog.csdn.net/qq_40147863/article/details/90484190"
    
        # 获取页面 html
        rsp = request.urlopen(url)
        all_html = rsp.read()
    
        # 一锅清汤
        soup = BeautifulSoup(all_html, 'lxml')
    
        # bs 自动解码
        content = soup.prettify()
    
        # 获取标题
        tags = soup.find_all(name='title')
        for i in tags:
            # .string 是去掉标签, 只打印内容
            print(i.string)
    
        # 获取正文部分
        article = soup.find_all(name='article')
        # print(article[0])
    
        # 获取图片的链接
        all_img_href = re.findall('<img(.*?)src="(.*?)"', str(article))
    
        # 调用函数, 获取去掉水印后的链接数组
        img_urls = get_url_array(all_img_href);
    
        # 用当前之间为目录名, 创建新目录
        now_time = datetime.datetime.now()
        now_time_str = datetime.datetime.strftime(now_time, '%Y_%m_%d_%H_%M_%S')
        mkdir(now_time_str)
    
        print("----------下载图片-------------")
        i = 0
        for m in img_urls:
            # 由于没有精确匹配，并不是所有连接都是我们要的课程的连接，排出第一张图片
            print('正在下载第' + str(i) + '张：' + m)
    
            # 爬取每个网页图片的连接
            img_url = request.urlopen(m).read()
    
            # img 目录【必须手动创建好】
            fp = open(now_time_str+'\\' + str(i) + '.jpg', 'wb')
    
            # 写入本地文件
            fp.write(img_url)
    
            # 目前没有想到更好的方式，暂时只能写一次，关闭一次，如果有更好的欢迎讨论
            fp.close()
            i += 1

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20220114/41bdfe5fe77e4613bdde6a57152a1165.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20220114/dc214a86ba8f4f17833f5f130dbf5b93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9pY29kZS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20220114/16d08c889d114d4888b45cfddd6062c7.png