Python之Requests_html库入门篇（含实例：爬取51jobs网站python岗位信息）

左手的ㄟ右手 2023-07-25 12:48 10阅读 0赞

### Requests\_html库入门学习 ###

*   *   *  安装
         *  基本用法
         *   *   *  获取网页
                 *  获取连接
                 *  获取元素
                 *  元素内容
         *  实例 爬取51jobs网站有关Python工作的信息
         *  requests\_html官方链接

### 安装 ###

pip install requests_html

如果还不会pip安装的请看我的这篇文章——>[pip 安装，更新，卸载，查看模块方法][pip]

Note: requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同学需要更新一下Python版本了。

### 基本用法 ###

##### 获取网页 #####

from requests_html import HTMLSession
    
    session = HTMLSession()
    url = "https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html"
    h = session.get(url=url)
    #查看网页内容
    print(h.html.html)

requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。  
而requests-html自带了这个功能，所以在爬取网页等方面非常方便

##### 获取连接 #####

#相对路径
    print(h.html.links)

#绝对路径
    print(h.html.absolute_links)

links和absolute\_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）。

##### 获取元素 #####

request-html支持CSS选择器和XPATH两种语法来选取HTML元素。  
1、首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：

*  selector，要用的CSS选择器；
 *  clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是-sanitize，大概这么理解）;
 *  containing，如果设置该属性，会返回包含该属性文本的标签；
 *  first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
 *  \_encoding，编码格式。  
    示例：

#获取职业名称
    position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
    print(position)

输出结果为：

Python开发工程师

2、XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：

*  selector，要用的XPATH选择器；
 *  clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
 *  first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
 *  \_encoding，编码格式。  
    示例：

#获取职业名称
    position = h.html.xpath('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
    print(position)

输出结果：

Python开发工程师

##### 元素内容 #####

要获取元素的attribute，用attr属性

print(h.attrs)

获取元素的html代码

print(h.html)

要搜索元素的文本内容，用search函数

print(e.search('51j{}bs')[0])
    #输出：o

两个链接属性

print(e.links)  # 相对路径
    print(e.absolute_links) # 绝对路径

### 实例 爬取51jobs网站有关Python工作的信息 ###

from requests_html import HTMLSession
    
    import csv
    
    session = HTMLSession()
    
    file = open('51jobsinfo.csv', 'w', newline='')
    csvwriter = csv.writer(file)
    csvwriter.writerow(['序号', '职位名称', '公司名', '地点', '薪资'])
    num = 1  #初始化抓取每条信息的序号
    cont = 0 #初始化抓取页数
    def get_jobsinfo(url):
        try:
            h = session.get(url=url)
        except:
            print('第{}页抓取失败共10页'.format(cont))
        else:
            global num
            for i in range(4,54):
                #i = int(i)
                position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
                company = h.html.find('#resultList > div:nth-child({num}) > span.t2 > a'.format(num=i), first=True).text
                place = h.html.find('#resultList > div:nth-child({num}) > span.t3'.format(num=i), first=True).text
                salary = h.html.find('#resultList > div:nth-child({num}) > span.t4'.format(num=i), first=True).text
                csvwriter.writerow([num, position, company, place, salary])
                num += 1
            print('第{}页抓取完毕共10页'.format(cont))
            
    def main():
    	#设置抓取页数
        for i in range(1,11):
            global cont
            cont = i
            url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,' + str(i) + '.html'
            get_jobsinfo(url)
    
    if __name__=='__main__':
        print('开始抓取...')
        main()
        print('抓取完毕！共{}条信息。'.format(num-1))
        file.close()

输出结果（由于信息的太多只展示部分）：

序号,职位名称,公司名,地点,薪资
    1,Python开发工程师,北京泽塔云科技股份有限公司,北京-朝阳区,1-2万/月
    2,EB/JAVA/Python软件研发工程师,中国科学院软件研究所,北京-海淀区,10-15万/年
    3,Python中级开发工程师,深圳市赢时胜信息技术股份有限公司...,北京-西城区,1-1.2万/月
    4,Python/PHP开发工程师,北京华脉世纪石油科技有限公司,北京,0.8-1万/月
    5,Python高级开发工程师,北京文泽智远信息技术有限公司,北京-海淀区,1.5-2万/月
    6,爬虫工程师（Java或Python）,北京三六九数动科技有限公司,北京,2.5-3万/月
    7,Python 工程师,北京友聚四海网络科技有限公司,北京-朝阳区,1-1.5万/月
    8,Python开发工程师-财务报表平台,字节跳动,北京,2-4万/月
    9,python开发,深圳市捷兴电子商务有限公司,北京-朝阳区,2-3万/月

--------------------

Note: 如果频繁访问爬取的网页有可能会面临着ip被封，可以适当的使用代理ip来防止自己的ip被封，详细使用请参考我的这篇文章——> [都什么时代了还在裸爬吗，快用IP代理池吧！][IP]

### requests\_html官方链接 ###

(https://requests-html.kennethreitz.org/)

[pip]: https://blog.csdn.net/weixin_43347550/article/details/105185238
[IP]: https://blog.csdn.net/weixin_43347550/article/details/105380469