爬虫实战：爬取重庆上万条招聘信息，看看你的薪酬在重庆属于什么段位。

以你之姓@ 2022-10-29 01:52 188阅读 0赞

作为一个即将工作的人，想看看自己的薪酬在重庆处于什么段位。如果对如何实现的不感兴趣，可以拉到后面，看第三部分，结果分析可视化部分。

## 一数据爬取部分 ##

手里没有招聘信息，我们需要从网上爬取。

一.目标站点分析  
数据来源:51job  
[网站超链接：51job重庆][51job]

![20210207165901293.png_pic_center][]

二.爬取单页网页html  
采用python +requests

#!/usr/bin/env python3
    # -*- coding: utf-8 -*-
    # @Author: yudengwu(余登武）
    # @Date : 2021/2/7
    #@email:1344732766@qq.com
    import requests
    
    def get_page(url,page):#获取请求并返回解析页面，offest,keyword为可变参数
    
        headers = { 
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
        try:
            response = requests.get(url,headers = headers,timeout=10)
            response.encoding = 'gbk'  # 加编码，重要！转换为字符串编码，read()得到的是byte格式的
            if response.status_code == 200 :
                return response.text
        except ConnectionError:
            print('程序错误')
            return None
    
    def main():
        for i in range(1, 2):  # 遍历网页1
           base_url = 'https://jobs.51job.com/chongqing/p'+str(i)+'/'
           html=get_page(base_url,i)
           print(html)
    if __name__ =='__main__':
        main()

![20210207171024502.png_pic_center][] 和浏览器里的html一样 ![2021020717111146.png_pic_center][]

三.网页信息提取  
BeautifulSoup+re正则

一条招聘信息对应html区域如图  
对前端的css有些熟悉，所以用 BeautifulSoup中select来选择信息。  
教程见链接  
[爬虫笔记：BeautifulSoup详解][BeautifulSoup]  
该部分的 BeautifulSoup 选择代码为`items=soup.select('.maincenter .mcon .left .detlist.gbox .e')`  
![20210207172120370.png_pic_center][]

打开一个招聘信息查看  
![20210207181011908.png_pic_center][]

根据上图，可以慢慢确定信息提取代码  
如下  
再遍历每一个招聘信息`for item in items:#遍历每一条招聘信息`  
职位选择`position=item.select('.info .title a')[0]`  
公司名`company_name=item.select('.info a')[1]`  
工作地`workplace=item.select('.info .location.name')`  
工资`salary=item.select('.info .location')[1]`  
发布日期`release_time=item.select('.info .time')[0]`  
学历要求`degree=item.select('.order')[0] degree=degree.get_text() degree_study=re.split(r'\|',degree)[0]`  
工作经验`work_experience=re.split(r'\|',degree)[1]`  
公司性质`nature_company=re.split(r'\|',degree)[2]`  
公司规模`company_size=re.split(r'\|',degree)[3]`  
岗位描述`JobDescribe=item.select('.text')[0]`

爬虫部分总代码  
开启多线程爬虫

#!/usr/bin/env python3
    # -*- coding: utf-8 -*-
    # @Author: yudengwu(余登武）
    # @Date : 2021/2/7
    #@email:1344732766@qq.com
    import requests
    from bs4 import BeautifulSoup
    import re
    import numpy as np
    import pandas as pd
    import time
    from requests.exceptions import  RequestException
    def get_page(url,page):#获取请求并返回解析页面，offest,keyword为可变参数
    
        headers = { 
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
        try:
            response = requests.get(url,headers = headers,timeout=10)
            response.encoding = 'gbk'  # 加编码，重要！转换为字符串编码，read()得到的是byte格式的
            if response.status_code == 200 :
                return response.text
        except RequestException:
            print('程序错误')
            return None
    
    #解析网页
    
    def pase_page(url,page):
        html = get_page(url, page)
        html = str(html)
        if html is not None:
            soup = BeautifulSoup(html, 'lxml')
            "--先选择招聘信息,得到的是一组招聘信息--"
            items=soup.select('.maincenter .mcon .left .detlist.gbox .e')
            #print(items)
            for item in items:#遍历每一条招聘信息
                '职位'
                position=item.select('.info .title a')[0]
                position = position.get_text()
                #print(position)
    
                '公司名'
                company_name=item.select('.info a')[1]
                company_name=company_name.get_text()
                #print(company_name)
                '工作地'
                workplace=item.select('.info .location.name')
                workplace=' '.join(i.get_text()for i in workplace)
                #print(workplace)
                '工资'
                salary=item.select('.info .location')[1]
                #salary=' '.join(i.get_text()for i in salary)
                salary=salary.get_text()
                # print(salary)
                '发布日期'
                release_time=item.select('.info .time')[0]
                release_time=release_time.get_text()
                #print(release_time)
                '学历要求'
                degree=item.select('.order')[0]
                degree=degree.get_text()
                degree_study=re.split(r'\|',degree)[0]
                #print(degree_study)
                '工作经验'
                work_experience=re.split(r'\|',degree)[1]
                #print(work_experience)
                '公司性质'
                nature_company=re.split(r'\|',degree)[2]
                #print(nature_company)
                '公司规模'
                company_size=re.split(r'\|',degree)[3]
                #print(company_size)
                '岗位描述'
                JobDescribe=item.select('.text')[0]
                JobDescribe=JobDescribe.get_text()
                #print(JobDescribe)
    
                '-------------写入表格-------------------'
    
                information = [position,company_name,workplace,salary,release_time,degree_study,work_experience,nature_company,company_size,JobDescribe]
                information = np.array(information)
                information = information.reshape(-1, 10)
                information = pd.DataFrame(information, columns=['position','company_name','workplace','salary','release_time','degree_study','work_experience','nature_company','company_size','JobDescribe'])
    
                information.to_csv('51job重庆招聘数据.csv', mode='a+', index=False, header=False)  # mode='a+'追加写入
            print('第{0}页存储数据成功'.format(page))
        else:
            print('解析失败')
    
    
    #多线程爬取
    import threading
    
    def main():
        for i in range(1, 4997,3):  # 遍历网页1-5000
           base_url1 = 'https://jobs.51job.com/chongqing/p'+str(i)+'/'
           base_url2 = 'https://jobs.51job.com/chongqing/p' + str(i+1) + '/'
           base_url3 = 'https://jobs.51job.com/chongqing/p' + str(i + 2) + '/'
           t1 = threading.Thread(target=pase_page, args=(base_url1, i))  # 线程1
           t2 = threading.Thread(target=pase_page, args=(base_url2, i+1))  # 线程2
           t3 = threading.Thread(target=pase_page, args=(base_url3, i + 2))  # 线程3
           t1.start()
           t2.start()
           t3.start()
    
    if __name__ =='__main__':
        main()

有些页由于网页反映快慢问题或者其他问题没有抓取下来。不过对数据集影响不大，至少我们抓取的数据足够多近2万条。  
![20210207202705931.png_pic_center][]  
![20210207223402286.png_pic_center][]

## 二.数据处理部分 ##

得到的数据表格，里面有些数据需要处理，如工资有的是按千计算，有的是按万计算，有的按月计算，有的按年计算。给我们分析带来很大困扰。我还想把学历要求，公式规模，公式性质这些多余的字去掉。  
![20210207223540452.png_pic_center][]

为了方便处理，首先给表格添加字段  
![20210207223825640.png_pic_center][]

工资处理

import pandas as pd
    import re
    import numpy as np
    #读取数据
    csv=pd.read_csv(r'D:\deeplearn\xuexicaogao\51job重庆招聘数据.csv',error_bad_lines=False,encoding='utf-8')
    #删除空值
    csv.dropna(axis=0, how='any', inplace=True)
    
    '----工资处理---'
    def get_money_max_min(x):
        try:
            if x[-3] == "万":
                z = [float(i)*10000 for i in re.findall("[0-9]+\.?[0-9]*",x)]
            elif x[-3] == "千":
                z = [float(i) * 1000 for i in re.findall("[0-9]+\.?[0-9]*", x)]
            if x[-1] == "年":
                z = [i/12 for i in z]
            return z
        except:
            return x
    salary = csv["salary"].apply(get_money_max_min)#得到的工资为[3000.0, 4500.0]是一个区间，对应我们常说的3-4.5千、月
    csv['最低工资']=salary.str[0]#16446
    
    csv['最高工资']=salary.str[1]
    csv['工资水平']=csv[["最低工资","最高工资"]].mean(axis=1)
    csv.to_csv('51job重庆招聘数据1.csv')

![2021020722474549.png_pic_center][]

处理后续代码

import pandas as pd
    import re
    import numpy as np
    import jieba
    #读取数据
    csv=pd.read_csv(r'D:\deeplearn\xuexicaogao\51job重庆招聘数据1.csv',error_bad_lines=False,encoding='gbk',header=0)
    #删除空值
    csv.dropna(axis=0, how='any', inplace=True)
    
    #学历处理
    csv['degree_study']=csv['degree_study'].apply(lambda x:re.findall("本科|大专|应届生|在校生|硕士|博士",x))
    def func(x):
        if len(x) == 0:
            return np.nan
        elif len(x) == 1 or len(x) == 2:
            return x[0]
        else:
            return x[2]
    csv["degree_study"] = csv["degree_study"].apply(func)
    csv["degree_study"].value_counts()
    
    '公司规模处理'
    def func1(x):
        if x == '公司规模：少于50人':
            return "<50"
        elif x == '公司规模：50-150人':
            return "50-150"
        elif x == '公司规模：150-500人':
            return '150-500'
        elif x == '公司规模：500-1000人':
            return '500-1000'
        elif x == '公司规模：1000-5000人':
            return '1000-5000'
        elif x == '公司规模：5000-10000人':
            return '5000-10000'
        elif x == '公司规模：10000人以上':
            return ">10000"
        else:
            return np.nan
    csv["company_size"] = csv["company_size"].apply(func1)
    
    '公司类型理'
    #csv['nature_company']=csv.loc[csv['nature_company'].apply(lambda x:len(x)<6),"公司类型"] = np.nan
    csv['nature_company']=csv['nature_company'].apply(lambda x:re.sub("公司性质：","",x))
    '工作经验处理'
    csv['work_experience']=csv['work_experience'].apply(lambda x:re.sub("工作经验：","",x))
    
    '对岗位描述进行分词，为后续绘制词云图做好基础'
    csv['岗位描述词']=csv['JobDescribe'].apply(lambda x:" ".join([w for w in list(jieba.cut(x)) if len(w)>1]))
    #删除空值
    csv.dropna(axis=0, how='any', inplace=True)
    
    csv.to_csv('51job重庆招聘数据2.csv')

![20210208084637786.png_pic_center][]

## 三结果分析可视化部分 ##

**1.工资水平分析**  
如一家公司给出的报酬是6-8千/月，则我们认为工资水平是7千/月

import pandas as pd
    
    df = pd.read_csv('51job重庆招聘数据2.csv',encoding="utf-8")
    
    "---工资水平分析---"
    money=df['工资水平']
    print(money.describe())

平均工资9304元。我快拖后腿啦。被灰心，能把招聘信息放在求职网上的公司都是好公司。所有平均工资偏高。  
![20210208085804825.png_pic_center][]

在表格里面查找最高工资的是什么单位，干什么的。  
项目经理300-450万/年。5-7年工作经验。招聘的是CEO。  
![20210208090305902.png_pic_center][]

import pandas as pd
    import matplotlib.pyplot as plt
    from pylab import *
    mpl.rcParams['font.sans-serif'] = ['SimHei']
    mpl.rcParams['axes.unicode_minus'] = False
    df = pd.read_csv('51job重庆招聘数据2.csv',encoding="utf-8")
    
    #频率分析，各阶段工资占比
    
    money1=df[df['工资水平']<6000]['position'].count()/len(df) #小于6000的占比
    money2=df[(df['工资水平']>=6000) &(df['工资水平']<10000)]['position'].count()/len(df) #大于6000，小于10000的占比
    money3=df[(df['工资水平']>=10000) &(df['工资水平']<15000)]['position'].count()/len(df) #大于10000，小于15000的占比
    money4=df[(df['工资水平']>=15000) &(df['工资水平']<20000)]['position'].count()/len(df) #大于15000，小于20000的占比
    money5=df[df['工资水平']>=20000]['position'].count()/len(df) #大于20000的占比
    
    labels = ['小于6000', '大于6000小于10000', '大于10000小于15000', '大于15000小于20000','大于20000']
    sizes = [money1,money2,money3,money4,money5]
    explode = (0.1, 0.1, 0, 0,0)
    plt.pie(sizes, explode=explode,labels=labels, autopct = '%1.1f%%',
            shadow= False, startangle =90)
    plt.title('工资分布情况')
    plt.show()

由图可以看到70.8%的人月工资少于1万。等于说4个人中有3个人月工资少于1万。月工资大于1万5的人就是top10%啦。加油，小伙。  
![20210208094204161.png_pic_center][]

**2.学历与工资关系**  
学历要求为大专（不要多想，应该是以上）

#大专工资水平
    junior_collegey=df[df['degree_study']=='大专']
    juniormoney1=junior_collegey[junior_collegey['工资水平']<6000]['position'].count()/len(junior_collegey) #小于6000的占比
    juniormoney2=junior_collegey[(junior_collegey['工资水平']>=6000) &(junior_collegey['工资水平']<10000)]['position'].count()/len(junior_collegey) #大于6000，小于10000的占比
    juniormoney3=junior_collegey[(junior_collegey['工资水平']>=10000) &(junior_collegey['工资水平']<15000)]['position'].count()/len(junior_collegey) #大于10000，小于15000的占比
    juniormoney4=junior_collegey[(junior_collegey['工资水平']>=15000) &(junior_collegey['工资水平']<20000)]['position'].count()/len(junior_collegey) #大于15000，小于20000的占比
    juniormoney5=junior_collegey[junior_collegey['工资水平']>=20000]['position'].count()/len(junior_collegey) #大于20000的占比
    juniormean=df[df['degree_study']=='大专']['工资水平'].mean()#平均工资
    
    labels = ['小于6000', '大于6000小于10000', '大于10000小于15000', '大于15000小于20000','大于20000']
    sizes = [juniormoney1,juniormoney2,juniormoney3,juniormoney4,juniormoney5]
    explode = (0.1, 0.1, 0, 0,0)
    plt.pie(sizes, explode=explode,labels=labels, autopct = '%1.1f%%',
            shadow= False, startangle =90)
    plt.title('大专工资分布情况,大专平均工资为{0}'.format(juniormean))
    plt.show()

大专77.3%的人月收入低于1万，平均月工资8464  
![20210208100122889.png_pic_center][]

本科。本科的代码直接将大专代码中的大专修改为本科即可  
本科62.1%的人月收入低于1万，平均工资10487  
![20210208100443931.png_pic_center][]

硕士  
硕士64%的人月收入低于1万，平均工资12408。  
![20210208100644939.png_pic_center][]

博士  
博士月收入就没有低于1万的，平均工资23022。  
![20210208100928253.png_pic_center][]

读书还是有好处，平均工资，本科比大专多2000，硕士比本科多2000，博士是硕士的2倍。  
读书对于我们这些穷苦人出身的还是最好的出路。

**3.公司性质与工资关系**  
民营公司

nature_company=df[df['nature_company']=='民营公司']
    money1=nature_company[nature_company['工资水平']<6000]['position'].count()/len(nature_company) #小于6000的占比
    money2=nature_company[(nature_company['工资水平']>=6000) &(nature_company['工资水平']<10000)]['position'].count()/len(nature_company) #大于6000，小于10000的占比
    money3=nature_company[(nature_company['工资水平']>=10000) &(nature_company['工资水平']<15000)]['position'].count()/len(nature_company) #大于10000，小于15000的占比
    money4=nature_company[(nature_company['工资水平']>=15000) &(nature_company['工资水平']<20000)]['position'].count()/len(nature_company) #大于15000，小于20000的占比
    money5=nature_company[nature_company['工资水平']>=20000]['position'].count()/len(nature_company) #大于20000的占比
    mean=df[df['nature_company']=='民营公司']['工资水平'].mean()#平均工资
    labels = ['小于6000', '大于6000小于10000', '大于10000小于15000', '大于15000小于20000','大于20000']
    sizes = [money1,money2,money3,money4,money5]
    explode = (0.1, 0.1, 0, 0,0)
    plt.pie(sizes, explode=explode,labels=labels, autopct = '%1.1f%%',
            shadow= False, startangle =90)
    plt.title('民营公司工资分布情况,平均工资为{0}'.format(mean))
    plt.show()

民营公司73.1%月收入低于1万，平均月收入9156  
![20210208101841120.png_pic_center][]

合资公司  
合资公司73%月收入低于1万，平均月收入8891  
![20210208102054166.png_pic_center][]  
上市公司  
上市公司64.3%月收入低于1万，平均月收入10038  
![20210208102254816.png_pic_center][]

外资公司和非欧美外资公司

shuju=['外资','外资（非欧美）','外资（欧美）']
    nature_company=df[df['nature_company'].isin(shuju)]
    money1=nature_company[nature_company['工资水平']<6000]['position'].count()/len(nature_company) #小于6000的占比
    money2=nature_company[(nature_company['工资水平']>=6000) &(nature_company['工资水平']<10000)]['position'].count()/len(nature_company) #大于6000，小于10000的占比
    money3=nature_company[(nature_company['工资水平']>=10000) &(nature_company['工资水平']<15000)]['position'].count()/len(nature_company) #大于10000，小于15000的占比
    money4=nature_company[(nature_company['工资水平']>=15000) &(nature_company['工资水平']<20000)]['position'].count()/len(nature_company) #大于15000，小于20000的占比
    money5=nature_company[nature_company['工资水平']>=20000]['position'].count()/len(nature_company) #大于20000的占比
    mean=df[df['nature_company'].isin(shuju)]['工资水平'].mean()#平均工资
    labels = ['小于6000', '大于6000小于10000', '大于10000小于15000', '大于15000小于20000','大于20000']
    sizes = [money1,money2,money3,money4,money5]
    explode = (0.1, 0.1, 0, 0,0)
    plt.pie(sizes, explode=explode,labels=labels, autopct = '%1.1f%%',
            shadow= False, startangle =90)
    plt.title('外资公司工资分布情况,平均工资为{0}'.format(mean))
    plt.show()

外资公司 67%的人月收入低于1万，平均月收入9225  
![20210208103050878.png_pic_center][]

国企  
国企56%的人月收入低于1万，平均月收入10462  
![20210208103252469.png_pic_center][]

**4.查看公司地址分布**

workplace=df.groupby('workplace').count()
    workplace=workplace['position'].sort_values()
    workplace=pd.DataFrame(workplace)
    workplace.plot(kind='barh')
    plt.title('公司区域分布')
    plt.show()

公司还是集中在主城。一些小县城，招聘信息只有个位数。  
![20210208104203728.png_pic_center][]

**5.工作描述词云图**

text = df['岗位描述词']
    text = (' '.join(map(str, text))).split(' ')
    #print(text)
    
    from collections import Counter
    from wordcloud import WordCloud
    
    def generate_wordcloud(tup):
        wordcloud = WordCloud(background_color='white',
                              font_path='simhei.ttf',
                              max_words=50, max_font_size=40,
                              random_state=42
                              ).generate(str(tup))
        return wordcloud
    most300 = Counter(text).most_common(300)#10个高频词
    plt.imshow(generate_wordcloud(most300), interpolation="bilinear")
    plt.title("Top 300", fontsize=30)
    plt.show()

没有进行停用词去除（主要是想减少工作量），词云图得到的信息不是很满意。  
从停用词中发现：公司对沟通能力，经验，学历，组织能力，专业相关 比较看重。  
![20210208110151706.png_pic_center][]

![在这里插入图片描述][20210208110454518.jpg_pic_center]  
通过对这篇文章，我了解到啦我处于哪个段位啦。算是比较优秀吧  
小伙子加油  
![在这里插入图片描述][2021020811054572.gif_pic_center]  
作者：电气余登武。原创属实不易，请一键三连（点赞，收藏，关注）再走

[51job]: https://jobs.51job.com/chongqing/p1/
[20210207165901293.png_pic_center]: /images/20221024/e5f83ad242dd4949a0b59d88e9fdc008.png
[20210207171024502.png_pic_center]: https://img-blog.csdnimg.cn/20210207171024502.png#pic_center
[2021020717111146.png_pic_center]: /images/20221024/10c8d5f62f0b4abeba26db511988cbb4.png
[BeautifulSoup]: https://blog.csdn.net/KOBEYU652453/article/details/113189859
[20210207172120370.png_pic_center]: /images/20221024/9b84f109b95a4d1382df6a0fbf51a84a.png
[20210207181011908.png_pic_center]: /images/20221024/8102c93608f64204973e501aabac0275.png
[20210207202705931.png_pic_center]: /images/20221024/8ae9ca01bed544769737db6d8017f1cc.png
[20210207223402286.png_pic_center]: /images/20221024/6a0cfae2a98d4673b0858f0405acd267.png
[20210207223540452.png_pic_center]: /images/20221024/eb7e8f03dfe34f779b1469b0867d3998.png
[20210207223825640.png_pic_center]: /images/20221024/d03b1e6aabe94a5885f79562cd4a64cf.png
[2021020722474549.png_pic_center]: /images/20221024/7b680e10993d43b9a72f4d2946fd2111.png
[20210208084637786.png_pic_center]: /images/20221024/a9606b291a774bbe8efa6f049e342907.png
[20210208085804825.png_pic_center]: /images/20221024/f69fe7f745d6406980bc8d72e955b86d.png
[20210208090305902.png_pic_center]: /images/20221024/dc872b604f634ded9d6c7db0e7f54462.png
[20210208094204161.png_pic_center]: /images/20221024/b664c5fab3024dc084ae16e588566bc6.png
[20210208100122889.png_pic_center]: /images/20221024/57c18c8d18f946fab64bb8120852fafe.png
[20210208100443931.png_pic_center]: /images/20221024/4d9494f5e8a84eaabdbf85c9f5d4f141.png
[20210208100644939.png_pic_center]: /images/20221024/b65d133897c14397bbe6be33ee2e1799.png
[20210208100928253.png_pic_center]: /images/20221024/5c3afa9ebbd2471187dfdb52cefe83b4.png
[20210208101841120.png_pic_center]: /images/20221024/be111b61c3084d5f806876afe7865f59.png
[20210208102054166.png_pic_center]: /images/20221024/9a80de5534d94fe3aec1a8658ce797a2.png
[20210208102254816.png_pic_center]: /images/20221024/8988d412b698465598daa12a7757f43b.png
[20210208103050878.png_pic_center]: /images/20221024/a75644606b554d5aaa4b065d3d327a0f.png
[20210208103252469.png_pic_center]: /images/20221024/08c4c2959e214807b6ff5fb55a8f9298.png
[20210208104203728.png_pic_center]: /images/20221024/792e02d2a9fb48d3aabc44ad2d8d28ce.png
[20210208110151706.png_pic_center]: /images/20221024/10e16673217e475cad39ad41f3369300.png
[20210208110454518.jpg_pic_center]: /images/20221024/2e9f1e46aa824159961bf9d9e3635dab.png
[2021020811054572.gif_pic_center]: /images/20221024/a16c0b9364494eaf8ab39fa41a64baa4.png