python 将html保存为PDF之一个学习笔记

悠悠 2023-05-31 10:10 23阅读 0赞

### 文章目录 ###

*  说明：
 *  一、环境配置：
 *   *  1、window的wkhtmltopdf下载地址
     *   *  ==记得安装好把安装位置的bin目录放到环境变量中。==
     *  2、安装pdfkit模块：
 *  二、代码实现：
 *   *  方法1--wkhtmltopdf命令url ：
     *  方法2--wkhtmltopdf命令html：
     *  方法3--pdfkit的from\_url（url这个不报错）：
     *   *  注意点：
         *  代码演示：
     *  方法4--pdfkit的from\_file（我的虽然也能成功生成pdf，但是这个会报错，找了几个小时没有找到怎么解决，如果有懂得大佬，可以赐教一下哈）：
     *   *  问题：
     *  方法5--就是使用python执行系统命令的方法执行前俩个方法，可以做到批量处理。
 *  ==后续补充新增：三、用自己的方法实现完成将廖雪峰的129页博客保存为一个pdf：==

# 说明： #

今天突然想把爬取的HTML页面转存成PDF格式，进行一个学习，起源于这个还是很久之前看到一个爬取公众号的文章保留为PDF，但是想着学习自己实现一下哈，结果（懒呀，懒人总是能找到各种借口的，一推就一俩个月过去了，今天突然就想起来了，就来实现一波，结果还真有点麻烦，代码这个还是要自己动手写写，弄好之后做个自己看懂的总结就行（因为这是你以新手的学习出发点学习的，也能帮助别人下你踩得坑），把人家写的案例自己实现或者自己模仿找个其他案例测试测试，或者多找个文章学习学习）

# 一、环境配置： #

## 1、window的wkhtmltopdf下载地址 ##

这个不按照会报一个错。  
我的是window系统，所以需要还需要安装一个exe文件：  
[下载地址1：][1]  
[下载地址2][2]  
[各个平台下载的方法地址][Link 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70]  
下载的exe直接安装即可，安装位置建议更改到软件盘。

### 记得安装好把安装位置的bin目录放到环境变量中。 ###

## 2、安装pdfkit模块： ##

pip install --upgrade pdfkit

# 二、代码实现： #

参考好几个博客之后，我找到有以下几种可以实现的方法，参考博客我放到下方，需要的可以去看看。

## 方法1–wkhtmltopdf命令url ： ##

刚刚安装好，可以直接使用命令处理一个单个的url。  
命令格式：**wkhtmltopdf + url + 输出名称（可以是绝对路径或者相对路径）**

wkhtmltopdf https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735620448 demo1.pdf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 3]

## 方法2–wkhtmltopdf命令html： ##

命令格式：**wkhtmltopdf + html文件 （可以是绝对路径或者相对路径）+ 输出pdf路径（可以是绝对路径或者相对路径）**

wkhtmltopdf .\0.html demo2.pdf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 5]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 6]

## 方法3–pdfkit的from\_url（url这个不报错）： ##

### 注意点： ###

这个要把刚刚安装的环境位置弄上，我添加到系统的环境变量中，不加入这个还是保错，不知道有个博主写的，他为什么可以下载保存，我这边要加上这个配置。

path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
    config = pdfkit.configuration(wkhtmltopdf=path_wk)

### 代码演示： ###

import pdfkit
    
    
    path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
    config = pdfkit.configuration(wkhtmltopdf=path_wk)
    # pdfkit.from_url(['google.com', 'yandex.ru', 'engadget.com'], 'out1.pdf',configuration=config)
    pdfkit.from_url(['https://www.liaoxuefeng.com/wiki/1016959663602400/1016959735620448'], 'demo3.pdf',configuration=config)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 7]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 8]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 9]

## 方法4–pdfkit的from\_file（我的虽然也能成功生成pdf，但是这个会报错，找了几个小时没有找到怎么解决，如果有懂得大佬，可以赐教一下哈）： ##

代码，可以合成单个html，也可以合成多个html：

# -*- coding: utf-8
    import pdfkit
    
    path_wk = r'd:\tools\wkhtmltopdf\bin\wkhtmltopdf.exe'  # 安装位置
    config = pdfkit.configuration(wkhtmltopdf=path_wk)
    pdfkit.from_file(['0.html', '1.html'], 'demo5.pdf', configuration=config)

能生成能打开pdf，其实效果可以了，就是报错，唯一遗憾的是一直没有找到报错解决方法，等闲了回家用自己电脑测试试试，是不是公司电脑中其他环境问题：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 10]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 11]

### 问题： ###

我把问题放到这里，如果有懂的大佬，欢迎留言给我讲解一波哈。

Exception in thread Thread-2:
    Traceback (most recent call last):
      File "D:\tools\Python3.6\lib\threading.py", line 916, in _bootstrap_inner
        self.run()
      File "D:\tools\Python3.6\lib\threading.py", line 864, in run
        self._target(*self._args, **self._kwargs)
      File "D:\tools\Python3.6\lib\subprocess.py", line 1084, in _readerthread
        buffer.append(fh.read())
      File "D:\tools\Python3.6\lib\codecs.py", line 322, in decode
        (result, consumed) = self._buffer_decode(data, self.errors, final)
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 639: invalid continuation byte Traceback (most recent call last): File "D:/zjf_workspace/000、爬虫代码-基础的/scrapy_100_工具/27、将网页html转存成pdf/3、pdfkit模块/2、pdfkit模块--from_file.py", line 6, in <module> pdfkit.from_file(['0.html', '1.html'], 'demo5.pdf', configuration=config)
      File "D:\tools\Python3.6\lib\site-packages\pdfkit\api.py", line 49, in from_file
        return r.to_pdf(output_path)
      File "D:\tools\Python3.6\lib\site-packages\pdfkit\pdfkit.py", line 164, in to_pdf
        raise IOError("wkhtmltopdf exited with non-zero code {0}. error:\n{1}".format(exit_code, stderr))
    OSError: wkhtmltopdf exited with non-zero code 1. error:

## 方法5–就是使用python执行系统命令的方法执行前俩个方法，可以做到批量处理。 ##

python执行系统命令的方法主要有下面这三个：

1.  os.system()
2.  os.popen()
3.  subprocess.Popen()  
    新增：这三个的区别和方法，可以参考我的另一篇博客。  
    [python执行系统命令的方法总结][python]

# 后续补充新增：三、用自己的方法实现完成将廖雪峰的129页博客保存为一个pdf： #

这个具体我不解释了，就是前面的一个综合，直接上代码吧：

import os
    import subprocess
    
    import requests
    from PyPDF2 import PdfFileWriter, PdfFileReader
    from lxml import etree
    
    
    class Merge_LiaoXueFeng:
        def __init__(self, pdf_name,path):
            self.headers = { 
                "Cookie": "Hm_lvt_2efddd14a5f2b304677462d06fb4f964=1571883576; Hm_lpvt_2efddd14a5f2b304677462d06fb4f964=1571884481",
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"
            }
            self.urls = self.get_url_list()
            self.pdf_name = pdf_name
            self.path = path
    
        def get_url_list(self):
            """ 获取所有URL目录列表 :return: """
            response = requests.get("https://www.liaoxuefeng.com/wiki/1016959663602400", headers=self.headers)
            html = etree.HTML(response.text)
            with open('ret.html', 'w', encoding='utf-8') as file:
                file.write(response.text)
            href_list = html.xpath('//*[@id="x-wiki-index"]//a/@href')
            print("myself_href", href_list)
            urls = []
            for href in href_list:
                url = "http://www.liaoxuefeng.com" + href
                urls.append(url)
            return urls
    
        def merge_pdf(self, infnList, outfn):
            """ 合并pdf :return: """
            pdf_output = PdfFileWriter()
            # 把所有pdf写入一个pdf（pdf合并）
            for infn in infnList:
                pdf_input = PdfFileReader(open(infn, 'rb'))
                # 获取 pdf 共用多少页，把每一个pdf的所有页数写进一个pdf
                page_count = pdf_input.getNumPages()
                print(page_count)
                for i in range(page_count):
                    pdf_output.addPage(pdf_input.getPage(i))
            pdf_output.write(open(outfn, 'wb'))
    
        def get_pdf_list(self):
            """ 获取当前位置的pdf目录下的所有pdf的绝对路径，返回为pdf路径列表 :return: """
            # 获取当前pdf目录下的所以pdf文件
            # path = os.getcwd(r"D:\zjf_workspace\000、爬虫代码-基础的\scrapy_100_工具\27、将网页html转存成pdf\1、批量处理")
            html_path = os.path.join(self.path, 'pdf')
            file_list = os.listdir(html_path)
            pdf_list = []
            for file_one in file_list:
                # 判断是否都是pdf文件
                if file_one.endswith('.pdf'):
                    pdf_file = os.path.join(html_path, file_one)
                    pdf_list.append(pdf_file)
            return pdf_list
    
        def run(self):
            num = 0
            subprocess_list = []
            # 1、保存文章为pdf
            for article_url in self.urls:
                num += 1
                # 不等待结束接着运行下一个，（不建议很多运行,可以五个左右设置一个等待完成，防止多个运行电脑卡死）
                subprocess_one = subprocess.Popen(r'wkhtmltopdf {} ./pdf/{}.pdf'.format(article_url, num))
                subprocess_list.append(subprocess_one)
                if len(subprocess_list) >= 10:
                    for i in subprocess_list:
                        i.wait()
                    subprocess_list = []
                else:
                    pass
                # os_one = os.popen(r'wkhtmltopdf {} ./pdf2/{}.pdf'.format(article_url, num))
                # os_one.close()
                # print(dir(os_one))
                # time.sleep(20)
                # 一个运行结束另一个运行（可以加个协程跑快一点）
                # os.system(r'wkhtmltopdf {} ./pdf3/{}.pdf'.format(article_url, num))
    
            # 最后可能不大于10，所有把后面小于10的执行完毕
            for i in subprocess_list:
                i.wait()
    
            # 2、获取当前pdf目录下的所以pdf文件
            pdf_list = self.get_pdf_list()
            print("pdf_list",pdf_list)
    
            # 3、合并pdf
            print('pdf下载完毕，准备合并pdf:')
            self.merge_pdf(pdf_list, self.pdf_name)
    
    
    if __name__ == '__main__':
        path = os.getcwd()
        print(path)
        liaoxuefeng = Merge_LiaoXueFeng(u"廖雪峰Python_all.pdf", path)
        liaoxuefeng.run()

最终效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 13]

学习参考文章：

https://blog.csdn.net/hubaoquanu/article/details/66973149  
https://blog.csdn.net/y101101025/article/details/62461115  
https://blog.csdn.net/u012561176/article/details/83655247  
https://blog.csdn.net/xc\_zhou/article/details/80952168

[1]: https://github.com/wkhtmltopdf/wkhtmltopdf/releases
[2]: https://wkhtmltopdf.org/downloads.html
[Link 1]: https://github.com/JazzCore/python-pdfkit/wiki/Installing-wkhtmltopdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70]: /images/20230531/25162174171f40f0ad3562dc571cfab8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 1]: /images/20230531/3cd49585488449cbbef3e4db2f063798.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 2]: /images/20230531/8b363f16bc9248219f43712d3cc427eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 3]: /images/20230531/57c6812ecbda4eeaa36f3869769dd612.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 4]: /images/20230531/1ea7c5eb222c4d6cabc5dc51d6e7a557.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 5]: /images/20230531/38f623f0ea0f4ce7b254d7fef6e33139.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 6]: /images/20230531/0592dfb483a24cc583b97351b585f281.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 7]: /images/20230531/b7f5932f31fb46579a433285b8274231.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 8]: /images/20230531/8ed0873d2d80488da05ad59b1ce19518.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 9]: /images/20230531/6a4ff6f3ede54aefa8532c71d2393ca3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 10]: /images/20230531/fd594e34f5eb412e81289ef913ca918f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 11]: /images/20230531/2d04ca525d814c409ec5fa7bb07b295e.png
[python]: https://blog.csdn.net/weixin_42081389/article/details/102727934
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 12]: /images/20230531/8ed845716570425c8a5108baa597f75d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjA4MTM4OQ_size_16_color_FFFFFF_t_70 13]: /images/20230531/43751da037b746099d15e190f470c0fc.png