初次尝试python爬虫，爬取小说网站的小说。

我就是我 2023-06-04 03:52 4阅读 0赞

# 本次是小阿鹏，第一次通过python爬虫去爬一个小说网站的小说。 #

下面直接上菜。

1.首先我需要导入相应的包，这里我采用了第三方模块的架包，requests。requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多，因为是第三方库，所以使用前需要cmd安装。

cmd安装方式，打开cmd，输入以下命令：

pip install requests

2.添加相应的包后，我们需要一个小说链接去爬下这本小说也就是一个url。下面是我当时爬的小说url：http://www.shujy.com/5200/244309/

3.我们现在有了小说的链接，这时候就要模拟浏览器发送http的请求：

response=requests.get(url)
    response.encoding='gbk'

4.我们可以尝试获取目标小说的网页源码

html=response.text

我们把它打印出来看下：

![1482030-20190815081331428-429674674.png][]

有html基础的朋友应该对这些很熟悉。通过打印我们可以看见小说的名字，作者，以及小说章节的url。这时候我们就先通过HTML网页源码获取小说的名字：

title=re.findall(r'<meta property="og:novel:book_name" content="(.*?)"/>',html)[0]

从上面的代码我们可以看见是通过**正则表达式**去匹配的，对正则表达式有疑问的同学可以自行百度下。当然不同网站的具体小说名字可能会放在不同的标签里，需要我们打开网页源码去看看下。

5.这时候我们也就新建一个文本文件来保存小说内容。

fb=open('%s.txt'% title,'w',encoding='utf-8')

这时候我们需要获取小说的章节目录对应的url，我们还是来观察下网页的源码。我们通过火狐浏览器的f12看下网页可发现：

![1482030-20190815082934126-1431108520.png][]

小说的章节目标都在标签<div id='list'>里我们通过下面的代码获取对应的章节名和url。用一个list来存放章节信息。

dl=re.findall(r'<div id="list">.*?</div>',html,re.S)[0]
    chapter_info_list=re.findall(r'<a href="(.*?)">(.*?)</a>',dl)

6.这个时候我们循环每一章节，分别下载，先把章节的链接，章节名提取出来。

for chapter_info in chapter_info_list:
        chapter_url,chapter_title=chapter_info
        chapter_url="http://www.shujy.com/5200/244309/%s " % chapter_url
        chapter_url=chapter_url.replace(' ','')

我们可以看见对章节的链接进行的拼接，因为我们可以看见直接提取出来的链接是这样的：

![1482030-20190815104236312-1336990624.png][]

所以也就需要一个拼接的操作，取得完整的章节链接。

这个时候来下载小说内容：

chapter_response=requests.get(chapter_url,headers=headers)
        chapter_response.encoding='gbk'
        chapter_html=chapter_response.text

我们先是获取到小说具体章节的页面。打开具体小说章节f12查看网页的源码：

![1482030-20190815104802075-103885598.png][]

可以清楚的看见小说的具体内容是在标签<div id=content>里，和获取小说章节一样我们采用正则表达式来取得小说的内容。

chapter_content=re.findall(r'<div id="content">(.*?)</div>',chapter_html,re.S)[0]

我们把获取到的小说的内容打印出来看看，

![1482030-20190815105428128-1216503199.png][]

我们看见一些奇怪的字符&nbsp，<br/>等，我们在实际的小说里没有这些东西，这里就需要我们处理数据。进行一些操作，也叫做数据的清洗。

chapter_content=chapter_content.replace(' ','')
        chapter_content=chapter_content.replace('<br />','')
        chapter_content=chapter_content.replace('&t;','')

清洗后的小说内容：

![1482030-20190815105911904-1304959506.png][]

7.现在就是最后一步把小说保存到本地。

fb.write(chapter_title)
        fb.write('\n')
        fb.write(chapter_content)
        fb.write('\n')
        print(chapter_url,chapter_title)

我们来看下最后的结果，我们每爬完一章打印相应的章节链接信息和返回的response信息来看是否成功爬取：

![1482030-20190815110934193-1410955411.png][]

![1482030-20190815110152791-136323622.png][]

![1482030-20190815111043070-1378458500.png][]

当当当当，成功的爬下了这边小说。

最后总结下，本次的爬虫就很简单是小阿鹏的初次尝试，中间如果有不对的地方也希望大家的指正，谢谢！

转载于:https://www.cnblogs.com/mumu597/p/11355787.html

[1482030-20190815081331428-429674674.png]: /images/20230601/554ad67979094baa98d8ff32669afe5f.png
[1482030-20190815082934126-1431108520.png]: /images/20230601/bce7527623fe4d6ea0f00033558d1578.png
[1482030-20190815104236312-1336990624.png]: /images/20230601/2defa150ab23484dbcd12ea5b1995112.png
[1482030-20190815104802075-103885598.png]: /images/20230601/b33662b30f9344a9a495f1ac1e6daece.png
[1482030-20190815105428128-1216503199.png]: /images/20230601/503ad7d501044df08cc40e14e0ec53cf.png
[1482030-20190815105911904-1304959506.png]: /images/20230601/ff48ab66ef544743a0f415940b0534a7.png
[1482030-20190815110934193-1410955411.png]: /images/20230601/bf43bd2996d846df8007acb18070ddd1.png
[1482030-20190815110152791-136323622.png]: /images/20230601/07818ce5723c4f2487e501b6ff64e325.png
[1482030-20190815111043070-1378458500.png]: /images/20230601/dde28b0e1ba741b493feff20e0f11bfb.png