python 爬虫标签文本beautifullsoup_python爬虫之beautiful_soup基础知识及案例详解

妖狐艹你老母 2022-11-19 09:47 166阅读 0赞

'''

以腾讯社会招聘数据提取为例

'''

beautifulsoup:作用是从html/xml中提取数据,会载入整个HTML DOM,

比lxml解析器效率要低

pip3 install beautifulsoup4

https://hr.tencent.com/position.php (第一页url地址)

https://hr.tencent.com/position.php?&start=10(第二页)

https://hr.tencent.com/position.php?&start=20(第三页)

import requests

\#使用BeautifulSoup,需要这么导入模块

from bs4 import BeautifulSoup

def tencentJob(full\_url):

html = loda\_data(full\_url)

next\_url = parse\_page\_data(html)

if 'javascript:;' != next\_url:

next\_url = 'https://hr.tencent.com/'+next\_url

tencentJob(next\_url)

\#这种根据偏移量构建下一页的方式并不好如果页面源码里面有下一页字样,可 以提取该标签的href属性构建下一页的偏移量

next\_offset = offset+10

\#继续发起请求,解析数据

tencentJob(next\_offset)

def loda\_data(url):

"""

发起请求,获取职位列表页页面源码

:param url:

:return:

"""

req\_header = \{

'User-Agent':'Mozilla/5.0 (X11; Linux x86\_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',

response = requests.get(url,headers=req\_header)

if response.status\_code == 200:

return response.text

def parse\_page\_data(html):

"""

解析分页的页面源码数据

:param html:

:return:

"""

features=None：指明bs解析器

lxml:使用lxml下的html解析器

html.parser:是python自带的一个解析器模块

"""

html\_bs = BeautifulSoup(html,features='lxml')

\# 找到职位列表

\# html\_bs.find():查找一个节点

\# html\_bs.find\_all():查找所有符合条件的节点

"""

name=None, 指定你要查找的标签名,可以是一个字符串,正则表达式,或者列表

attrs=\{\}, 根据属性的值查找标签(dict)\{'属性名称':'属性的值'\}

text=None, 可以是一个字符串,正则表达式,查找符合条件的文本内容

limit=None　限制返回的标签的个数

find\_all方法返回的吧标签都放在列表中

"""

tr\_even = html\_bs.find\_all(name='tr',attrs=\{'class':'even'\})

tr\_odd = html\_bs.find\_all(name='tr',attrs=\{'class':'odd'\})

print(tr\_odd)

print(tr\_even)

for tr in tr\_even+tr\_odd:

\# print(tr)

jobinfo = \{\}

\#职位的名称

\#.get\_text()表示取标签的文本

jobinfo\['title'\] = tr.select('td.l.square > a')\[0\].get\_text()

\# \#职位的类型

\# jobinfo\['type'\] = tr.select('td')\[1\].get\_text()

jobinfo\['type'\] = tr.select('td:nth-of-type(2)')\[0\].get\_text()

\# \#职位人数

\# jobinfo\['peopleNum'\] = tr.select('td:nth-child(3)')\[0\].get\_text()

jobinfo\['peopleNum'\] = tr.select('td')\[2\].get\_text()

\# \#地点

\# jobinfo\['adress'\] = tr.select('td:nth-child(4)')\[0\].get\_text()

jobinfo\['adress'\] = tr.select('td')\[3\].get\_text()

\# \#发布时间

\# jobinfo\['publistTime'\] = tr.select('td:nth-child(5)')\[0\].get\_text()

jobinfo\['publistTime'\] = tr.select('td')\[4\].get\_text()

\# 职位详情地址

\#https://hr.tencent.com/position\_detail.php?id=46553&keywords=&tid=0&lid=0

detail\_url = 'https://hr.tencent.com/' + tr.select('td.l.square > a')\[0\].attrs\['href'\]

\#职位详情的html页面源码

html = loda\_data(detail\_url)

\#获取职位的要求和描述

jobinfo\['content'\] = parse\_detail\_data(html)

\#数据持久化

\# print(jobinfo)

print(jobinfo, detail\_url)

\#提取下一页的url链接

next\_url = html\_bs.select('a\#next')\[0\].attrs\['href'\]

return next\_url

def parse\_detail\_data(html):

\#创建一个BeautifulSoup对象

html\_bs = BeautifulSoup(html,features='lxml')

\#使用css语法取出li标签

content\_li = html\_bs.select('ul.squareli li')

content = \[\]

\#取出li标签的文本,放入列表中

for li in content\_li:

li\_text = li.get\_text()

content.append(li\_text)

return ','.join(content)

if \_\_name\_\_ == '\_\_main\_\_':

\#设置起始偏移量

offset = 0

full\_url = 'https://hr.tencent.com/position.php?&start=' + str(offset)

tencentJob(full\_url)

python 爬虫标签文本beautifullsoup_python爬虫之beautiful_soup基础知识及案例详解

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】详解BeautifulSoup()及其方法

相关爬虫笔记：BeautifulSoup详解

相关 python 爬虫标签文本beautifullsoup_python爬虫之beautiful_soup基础知识及案例详解

相关 Python-网络爬虫之BeautifulSoup(2)

相关 Python-网络爬虫之BeautifulSoup(1)

相关 Python网络爬虫之BeautifulSoup库

相关 python 爬虫之 BeautifulSoup 库详解

相关 python网络爬虫之BeautifulSoup库

相关 Python爬虫-BeautifulSoup

相关【零基础学爬虫】BeautifulSoup库详解