爬虫爬取豆瓣前500名书单

清疚 2024-04-17 05:37 88阅读 0赞

### 爬虫爬取豆瓣前500名书单 ###

*  排名书名所在标签
 *  进一步提取文本

# 排名书名所在标签 #

![在这里插入图片描述][20190822224612339.png]

# 观察上面的文档结果
    
    import requests
    from bs4 import BeautifulSoup
    import bs4
    
    
    def main(page):
        url = u'http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-'+str(page)
        html = requests.get(url)
        html.encoding = 'gb2312'
        bs = BeautifulSoup(html.content, 'lxml')
        a = bs.find_all('div', 'name')
        # print(a)
        file = open('../file/out.txt', mode='a+', encoding='utf-8')
        # 将结果追加文本中
        for i in a:
            file.write(str(i)+'\n')
        file.close()
    
    
    if __name__ == '__main__':
    # 每页20页记录
        for i in range(1, 26):
            main(i)

# 进一步提取文本 #

import requests
    from bs4 import BeautifulSoup
    import bs4
    
    
    def main():
        file = open('../file/out1.txt', mode='w+', encoding='utf-8')
        with open('../file/out.txt', mode='r', encoding='utf-8') as f:
            for i in f:
                bs = BeautifulSoup(i, 'lxml')
                file.write(str(bs.div.a['title'])+'\n')
        file.close()
    
    
    if __name__ == '__main__':
        main()

[20190822224612339.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/f3936d55f06a4c3aaf534df85e78347c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，88人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫爬取豆瓣前500名书单

爬虫爬取豆瓣前500名书单 * 排名书名所在标签 * 进一步提取文本排名书名所在标签 ![在这里插入图片描述][20190822224612339....

清疚/ 2024年04月17日 05:37/ 0 赞/ 89 阅读

相关爬虫---爬取豆瓣网评论内容

　　这段时间肯定经常听到一句话“我命由我不由天”，没错，就是我们国产动漫---哪咤，今天我们通过python还有上次写的pyquery库来爬取豆瓣网评论内容爬取豆瓣

浅浅的花香味﹌/ 2023年08月17日 17:26/ 0 赞/ 87 阅读

相关【python爬虫实战】爬取豆瓣影评数据

概述：爬取豆瓣影评数据步骤： 1、获取网页请求 2、解析获取的网页 3、提速数据 4、保存文件源代码： 1、导入需要的库 i

快来打我*/ 2023年07月08日 13:29/ 0 赞/ 9 阅读

相关（8）Python爬虫——爬取豆瓣影评数据

利用python爬取豆瓣最受欢迎的影评50条的相关信息，包括标题,作者,影片名,影片详情链接,推荐级,回应数,影评链接,影评,有用数这9项内容，然后将爬取的信息写入Excel表

一时失言乱红尘/ 2022年07月29日 08:48/ 0 赞/ 278 阅读

相关 python爬虫爬取豆瓣电影榜单

起因起因就是博主自己头脑发热想要爬取豆瓣的电影榜单,然后把里面的文字部分提取出来自己之前看别人的网上的教程写到了如何爬取某个网页的图片并将其下载,自己试了好使但是

Love The Way You Lie/ 2022年06月08日 07:21/ 0 赞/ 458 阅读

相关爬取豆瓣前250本书籍信息

[参考了这个哥们的思路:https://blog.csdn.net/qq\_40123329/article/details/81807759][https_blog.csdn

朱雀/ 2022年01月29日 11:21/ 0 赞/ 227 阅读

相关 JAVA爬虫 - 爬取豆瓣租房信息

最近打算换房子，豆瓣上面的租房小组相对来说较为真实，但是发现搜索功能不是那么友好，所以想把帖子的数据都爬到数据库，自己写sql语句去筛选，开搞！每步过程都贴上完整代码，感兴

柔情只为你懂/ 2021年12月17日 12:04/ 0 赞/ 461 阅读

相关爬取豆瓣图书

未运行出想要的结果 -- coding:UTF-8 -- import sys import time import urllib

Bertha 。/ 2021年12月15日 08:11/ 0 赞/ 395 阅读

相关 python爬虫爬取豆瓣电影Top250

python爬虫爬取豆瓣电影Top250 话不多说，直接上代码！ import re import requests import json

爱被打了一巴掌/ 2021年07月26日 18:14/ 0 赞/ 950 阅读

相关 python爬虫爬取豆瓣读书Top250

python爬虫爬取豆瓣读书Top250 话不多说，直接上代码！ from urllib.request import urlopen, Request

淡淡的烟草味﹌/ 2021年07月26日 11:19/ 0 赞/ 709 阅读