python bs4模块 BeautifulSoup 学习笔记

曾经终败给现在 2022-05-19 08:12 365阅读 0赞

bs4 模块的 BeautifulSoup 可以用来爬取html页面的内容,配合requests库可以写简单的爬虫。

1、利用requests请求html页面,获取HTML页面内容

  1. import requests
  2. from bs4 import BeautifulSoup
  3. session = requests.session()
  4. headers = {
  5. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
  6. }
  7. session.headers.update(headers)
  8. # step 1 打开登陆页面
  9. url = 'http://10.10.10.10/xx'
  10. r = session.get(url)
  11. html = r.text

2、利用BeautifulSoup,解析HTML得到想要的信息

  1. soup = BeautifulSoup(html, 'html.parser')
  2. # BeautifulSoup支持多种元素定位方式,也支持CSS定位,得到的是一个列表,列表中的元素信息可以用get方法获取
  3. s1 = soup.select('#id')[0].get('value')
  4. #S1 就是对应元素value属性的值
  5. print(s1)

发表评论

表情:
评论列表 (有 0 条评论,365人围观)

还没有评论,来说两句吧...

相关阅读