【Python爬虫】糗事百科段子数据采集

青旅半醒 2022-08-28 04:57 370阅读 0赞

知识点

1.爬虫基本步骤
2.requests模块
3.parsel模块
4.xpath数据解析方法
5.分页功能

爬虫基本步骤:

1.获取网页地址 (糗事百科的段子的地址)
2.发送请求
3.数据解析
4.保存 本地

对于文章有疑问，或者想要Python相关资料、源码的同学也可以点这里

爬虫代码

导入所需模块

  1. import re
  2. import requests
  3. import parsel

1.获取网页地址

  1. url = 'https://www.qiushibaike.com/text/'
  2. # 请求头 伪装客户端向服务器发送请求
  3. headers = { 
  4.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
  5. }

2.发送请求

  1. requ = requests.get(url=url, headers=headers).text

3.数据解析

  1. sel = parsel.Selector(requ)  # 解析对象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
  2. href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
  3. for html in href:
  4.     txt_href = 'https://www.qiushibaike.com' + html
  5.     requ2 = requests.get(url=txt_href, headers=headers).text
  6.     sel2 = parsel.Selector(requ2)
  7.     title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
  8.     title = re.sub(r'[|/\：？<>*]','_',title)
  9.     # content = sel2.xpath('//div[@class="content"]/text()').getall()
  10.     content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
  11.     contents = '\n'.join(content)

4.保存数据

  1. with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
  2.     fp.write(contents)
  3.     print(title, '下载成功')

运行代码，得到数据

9c8699bb6808e59be09d0040a13bae88.png
8f0ea1fd6b39b4343976bbfcf0a66300.png

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

点这里即可免费在线观看

发表评论

表情：
评论列表 （有 0 条评论，370人围观）

还没有评论，来说两句吧...

相关阅读

    相关 糗事百科小爬虫

    这几天看了不少phtyon 的基础，试着做了一个daemo 但不是很成功 不知道家里网络不太好还正则匹配的不好，re.findall 的数据不是特别的稳定，有时候要加载很长

    r囧r小猫r囧r小猫/ 0 赞/ 344 阅读