bs4解析器——爬取三国演义目录和内容

客官°小女子只卖身不卖艺 2023-07-12 03:48 22阅读 0赞

'''
    爬取三国演义的目录和内容
    '''
    import requests
    from bs4 import BeautifulSoup
    
    if __name__ == '__main__':
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
        }
        url = "http://www.shicimingju.com/book/sanguoyanyi.html"
        response = requests.get(url=url,headers = headers)
        page_text = response.text
        #构建soup对象
        soup = BeautifulSoup(page_text,'lxml')
        #层级选择器，找到li标签
        li_list = soup.select(".book-mulu > ul >li")
        fp = open('三国演义.txt', 'w', encoding='utf-8')
        for li in li_list:
            title = li.a.string#获取a标签内的直接文本内容
            detail_url = "http://www.shicimingju.com"+ li.a['href']#获取a标签的href属性值
            detail_page = requests.get(url = detail_url,headers=headers).text
            detail_soup = BeautifulSoup(detail_page,'lxml')
            div_tag = detail_soup.find("div",class_='chapter_content')#查找第一个类名为xx的div
            content = div_tag.text#获取div标签内的全部文本内容
            fp.write(title+':'+content+'\n')
            print(title,'爬取成功')

发表评论取消回复

表情：

评论列表（有 0 条评论，22人围观）

还没有评论，来说两句吧...

相关阅读

相关 jsoup爬取网站内容

soup爬取网站内容,感觉是一件很神奇的事。如果爬取的内容进行非法的传播或进行商业用途，可能会收到法院的传票（被仲裁），所以请确认你的用途，以免官司或牢狱之苦。总而言之，...

╰半夏微凉°/ 2024年04月17日 20:52/ 0 赞/ 97 阅读

相关 excel爬取内容

Excel是一款办公软件，它可以用来组织、编辑和分析数据。在Excel中，你可以使用函数来获取和操作数据，也可以使用宏来自动化一些重复的任务。如果你想在Excel中爬取内容

迈不过友情╰/ 2024年03月25日 12:29/ 0 赞/ 121 阅读

相关 Python爬取网页内容

import urllib.request url = "https://blog.csdn.net/zhangphil" response

浅浅的花香味﹌/ 2024年02月19日 17:17/ 0 赞/ 108 阅读

相关 bs4解析器——爬取三国演义目录和内容

''' 爬取三国演义的目录和内容 ''' import requests from bs4 import BeautifulSoup

客官°小女子只卖身不卖艺/ 2023年07月12日 03:48/ 0 赞/ 23 阅读

相关 bs4-爬取小说

bs4 bs4有两种运行方式一种是处理本地资源，一种是处理网络资源本地 from bs4 import BeautifulSoup i

怼烎@/ 2023年06月02日 10:44/ 0 赞/ 25 阅读

相关 Python爬取文章和小说内容

python 一、安装requests库和 bs4 二、分析步骤三、实践（爬取文章） 1、代码： 2、效果：

梦里梦外;/ 2023年03月13日 05:21/ 0 赞/ 82 阅读

相关爬取三国演义全本内容，保存到TXT文件夹下（requests+bs4）

一、爬取界面分析爬取网站：[https://www.shicimingju.com/book/sanguoyanyi.html][https_www.shiciming

╰+哭是因爲堅強的太久メ/ 2022年10月22日 07:59/ 0 赞/ 168 阅读

相关页面数据解析之bs4

说实话，之前做爬虫，很不习惯用这个解析工具来解析页面数据，但是现在感觉，这个工具还是很强大的，所以在这里总结一下，方便自己查看，也可以和大家一起共享。首先注明来源：[资料来

你的名字/ 2022年02月03日 11:53/ 0 赞/ 296 阅读

相关登录并爬取评论和用户内容

学习目标 \\4.1 \\ 实战大项目 1. 实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。 2. 丁香园论坛：[http://www

ゝ一纸荒年。/ 2022年01月31日 13:21/ 0 赞/ 273 阅读

相关 requests爬取Ajax内容

介绍传统的urllib只能爬取静态网站，像Ajax内容则无法显示。所以想爬取，可以使用requests方法代码示例[http://www.kfc.com

分手后的思念是犯贱/ 2021年12月10日 04:59/ 0 赞/ 559 阅读