一键下载：将知乎专栏导出成电子书

末蓝、 2022-05-11 09:12 260阅读 0赞

老是有同学问，学了 Python 基础后不知道可以做点什么来提高。今天就再用个小例子，给大家讲讲，通过 **Python** 和**爬虫**，可以完成怎样的小工具。

在知乎上，你一定关注了一些不错的专栏（比如 Crossin的编程教室）。但万一有那么一天，你喜欢的答主在网上被人喷了，一怒之下删帖停更，这些好内容可就都看不到了。尽管这是小概率事件（可也不是没发生过），但未雨绸缪，你可以把关注的专栏导出成电子书，这样既可以离线阅读，又不怕意外删帖了。

只是需要工具和源码的可以拉到文章底部获取代码。

## **【最终效果】** ##

运行程序，输入**专栏的 id**，也就是网页地址上的路径：

![v2-eae88e5184803ab1d7003ba8d1715638_b.jpg][]![v2-1718bbe7a6ee9f6c0cec45d3c3c999c0_b.jpg][]

之后程序便会自动抓取专栏中的文章，并按发布时间合并导出为 **pdf** 文件。

![v2-7bd8b7d093289f35d926fe8c23639045_b.jpg][]

## **【实现思路】** ##

这个程序主要分为三个部分：

1.  抓取专栏文章地址**列表**
2.  抓取每一篇文章的**详细内容**
3.  导出 **PDF**

## **1. 抓取列表** ##

在之前的文章 [爬虫必备工具，掌握它就解决了一半的问题][Link 1] 中介绍过如何分析一个网页上的请求。按照其中的方法，我们可以通过**开发者工具**的 **Network 功能**找出专栏页面获取详细列表的请求：

https://www.zhihu.com/api/v4/columns/crossin/articles

![v2-ae8b16304c0812fa407af7c0381f99a6_b.jpg][]

观察返回结果中发现，通过 `next` 和 `is_end` 的值，我们能获取下一次列表请求的地址（相当于向下滚动页面的触发效果）以及判断是否已经拿到所有文章。

而 `data` 中的 `id`、`title`、`url` 就是我们需要的数据。因为 `url` 可以通过 `id`拼出，所以我们的代码里未保存它。

![v2-ad3963721038efe5011d4b6d36799ccd_b.jpg][]

使用一个 while 循环，直到抓取完所有文章的 `id` 和 `title`，保存在文件中。

while True:
        resp = requests.get(url, headers=headers)
        j = resp.json()
        data = j['data']
        for article in data:
            # 保存id和title(略)
        if j['paging']['is_end']:
            break
        url = j['paging']['next']
        # 按 id 排序(略)
        # 导入文件(略)

![v2-93ee8f92fb493e4516fc758673d2f375_b.jpg][]

## **2. 抓取文章** ##

有了所有文章的 `id` / `url`，后面的抓取就很简单了。文章主体内容就在 `Post-RichText` 的标签中。

需要稍微花点功夫的是一些文本上的处理，比如原页面的图片效果，会加上 noscript标签和 data-actual、src="data:image 这样的属性，我们为了正常显示得把它们去掉。

url = 'https://zhuanlan.zhihu.com/p/'  id
    html = requests.get(url, headers=headers).text
    soup = BeautifulSoup(html, 'lxml')
    content = soup.find(class_='Post-RichText').prettify()
    # 对content做处理(略)
    with open(file_name, 'w') as f:
        f.write(content)

![v2-9c04b01d0c1cfc1bb0062c26b64aa3b0_b.jpg][]

到这一步，就已经完成了所有内容的抓取，可以在本地阅读了。

## **3. 导出 PDF** ##

为了更便于阅读，我们使用 **wkhtmltopdf** **pdfkit**，将这些 HTML 文件打包成 PDF。

wkhtmltopdf 是一个 HTML 转 PDF 的工具，需要单独安装，具体可参考它的官网介绍。

*  *[https://wkhtmltopdf.org/downloads.html][https_wkhtmltopdf.org_downloads.html]*
 *  *[https://github.com/JazzCore/python-pdfkit/wiki/Installing-wkhtmltopdf][https_github.com_JazzCore_python-pdfkit_wiki_Installing-wkhtmltopdf]*

pdfkit 是对此工具封装的 Python 库，可从 pip 安装：

pip install pdfkit

使用起来很简单：

# 获取htmls文件名列表(略)
    pdfkit.from_file(sorted(htmls), 'zhihu.pdf')

![v2-e5bef1e3e0c453561962270147fbe48e_b.jpg][]

这样就完成了整个专栏导出。

不仅是知乎专栏，几乎大多数信息类网站，都是通过 **1.抓取列表** **2.抓取详细内容** 这两个步骤来采集数据。因此这个代码稍加修改，即可用在很多别的网站上。只不过有些网站需登录后访问，那么就需要对 **headers** 里的 **cookie** 信息进行设置。此外，不同网站的请求接口、参数、限制都不尽相同，所以还是要具体问题具体分析。

关于这些爬虫的开发技巧，都可以在我们的 **爬虫实战** 课程中学到。有需要的请在公众号里回复 **爬虫实战**

## **【源码获取】** ##

获取知乎专栏下载器源码，请在公众号（**Crossin的编程教室**）里回复关键字 **知乎**

除了代码外，**本专栏打包好的 PDF** 也一并奉上，欢迎阅读与分享。

════

*其他文章及回答：*

欢迎搜索及关注：**Crossin的编程教室**

![154816tsh373rusgwbxs7w.png][]

[v2-eae88e5184803ab1d7003ba8d1715638_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-eae88e5184803ab1d7003ba8d1715638_b.jpg
[v2-1718bbe7a6ee9f6c0cec45d3c3c999c0_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-1718bbe7a6ee9f6c0cec45d3c3c999c0_b.jpg
[v2-7bd8b7d093289f35d926fe8c23639045_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-7bd8b7d093289f35d926fe8c23639045_b.jpg
[Link 1]: http://zhuanlan.zhihu.com/p/39340856
[v2-ae8b16304c0812fa407af7c0381f99a6_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-ae8b16304c0812fa407af7c0381f99a6_b.jpg
[v2-ad3963721038efe5011d4b6d36799ccd_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-ad3963721038efe5011d4b6d36799ccd_b.jpg
[v2-93ee8f92fb493e4516fc758673d2f375_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-93ee8f92fb493e4516fc758673d2f375_b.jpg
[v2-9c04b01d0c1cfc1bb0062c26b64aa3b0_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-9c04b01d0c1cfc1bb0062c26b64aa3b0_b.jpg
[https_wkhtmltopdf.org_downloads.html]: http://link.zhihu.com/?target=https://wkhtmltopdf.org/downloads.html
[https_github.com_JazzCore_python-pdfkit_wiki_Installing-wkhtmltopdf]: http://link.zhihu.com/?target=https://github.com/JazzCore/python-pdfkit/wiki/Installing-wkhtmltopdf
[v2-e5bef1e3e0c453561962270147fbe48e_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20180920/v2-e5bef1e3e0c453561962270147fbe48e_b.jpg
[Python]: https://www.zhihu.com/question/20702054/answer/19022301
[Link 2]: https://zhuanlan.zhihu.com/p/25824007
[Link 3]: https://zhuanlan.zhihu.com/p/34685564
[Python 1]: http://zhuanlan.zhihu.com/p/36064871
[Link 4]: https://zhuanlan.zhihu.com/p/36581953
[Link 5]: http://zhuanlan.zhihu.com/p/29043669
[Link 6]: http://zhuanlan.zhihu.com/p/28726244
[Python 2]: https://zhuanlan.zhihu.com/p/37664927
[Link 7]: https://zhuanlan.zhihu.com/p/37814595
[requests]: https://zhuanlan.zhihu.com/p/38466193
[AI]: https://zhuanlan.zhihu.com/p/39937847
[154816tsh373rusgwbxs7w.png]: http://crossin-forum.b0.upaiyun.com/forum/201806/28/154816tsh373rusgwbxs7w.png