利用scrapy轻松爬取招聘网站信息并存入MySQL

朴灿烈づ我的快乐病毒、 2022-06-02 04:48 389阅读 0赞

1.  Scrapy版本：1.4；
2.  Python版本：3.6；
3.  OS：win10；
4.  本文完整项目代码：[完整示例][Link 1]；
5.  **本文目标：**  
    通过爬取腾讯招聘网站招聘岗位，熟悉scrapy，并掌握数据库存储操作；

##### **♣ 基础工作** #####

首先你要安装Scrapy和了解Scrapy相关的基础知识，若你还没有安装或不太了解Scrapy框架，请移步文章：[Scrapy入门–爬取cnblogs文章。][Scrapy_cnblogs]

##### **♣ 创建scrapy项目** #####

建立项目crawl-tencent-jobs-project，在cmd命令框或Anaconda命令框下，输入如下命令：

scrapy startproject crawl_tencent_jobs_project

**结果：**  
![这里写图片描述][SouthEast]

##### **♣ 创建爬虫** #####

切换到项目目录；创建爬虫；

cd crawl_tencent_jobs_project
    scrapy genspider crawl_tencent_jobs hr.tencent.com

**结果：**  
![这里写图片描述][SouthEast 1]

当爬虫创建成功后可以在项目目录下的spiders目录下查看爬虫文件，如下图，  
![这里写图片描述][SouthEast 2]

> **本文提供两种数据存储方式：  
> 1、存储在csv或txt文件中；  
> 2、存储在MySQL数据库中。  
> 这里以存储在MySQL中为例，这样便于后期爬取其他网站时的通用性，也对知识进行了更全面的覆盖。**

##### **♣ 创建数据库** #####

在cmd命令提示符下，输入如下命令连接数据库，

mysql -h localhost -u root -p
    # 提示输入秘密，输入密码即可连接mysql

在mysql命令提示符下，输入创建数据库命令，注意，这里mysql使用utf-8编码，以免编码问题影响数据存储。

CREATE DATABASE tencent_jobs DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

##### **♣ 分析需求** #####

腾讯招聘网站首页较为简单，自行分析即可；这里分析招聘信息详情页面，如下图所示，地址：[http://hr.tencent.com/position\_detail.php?id=35573&keywords=&tid=0&lid=0][http_hr.tencent.com_position_detail.php_id_35573_keywords_tid_0_lid_0]  
![这里写图片描述][SouthEast 3]

##### **♣ 需要抓取字段：** #####

1. 职位名称；
     2. 工作地点；
     3. 职位类型；
     4. 招聘人数；
     5. 工作职责；
     6. 工作要求。

##### **♣ 创建数据库中的表** #####

已经分析出需要抓取的字段，那么就要建立数据库中的表，以存储数据。  
新建文件mysql-connection.py，使用pymysql库创建表，也可手动在mysql命令行创建。

#_*_  coding: utf-8 _*_
    # Author: waltsmith
    # Date:2018-01-03
    # 导入模块
    import pymysql
    
    ## 建立腾讯jobs数据库
    # 创建连接
    Connection = pymysql.connect(database='tencent_jobs', host='localhost', user='root', password='123456')
    
    cursor = Connection.cursor()
    # 创建jobs表
    sql_create_table = '''
        create table jobs(job_name varchar (100),
          location varchar (40),
          type varchar (40),
          needed_people_num varchar (5),
          duty varchar (400),
          requirement varchar (500)
        )
    '''
    # 执行sql语句，创建jobs表
    cursor.execute(sql_create_table)
    # 提交
    Connection.commit()
    # 断开连接
    Connection.close()
    print("数据库创建完毕！！")

运行mysql-connection.py文件，提示“数据库创建完毕！！”，也可手动检查是否创建成功，如下图，使用navicat。  
![这里写图片描述][SouthEast 4]  
也可以在命令行检查，使用如下命令查询

>>> use tencent_jobs;
    >>> show create table jobs;

![这里写图片描述][SouthEast 5]

##### **♣ 迭代爬取网页规则** #####

祭出神器“F12”，查找xpath规则，不断修正实验，得到如下规则，当然你也可以使用Scrapy中的CSS选择器来获取内容。

class TencentJobsSpider(CrawlSpider):
        name = 'tencent_jobs'
        allowed_domains = ['hr.tencent.com']
        start_urls = ['http://hr.tencent.com/position.php?&start=0#a']
        # 定义link_extractor
        # 入口地址和详细页面链接
    main_page = LinkExtractor(allow='&start=\d+#a', restrict_xpaths='//*[@id="next"]')
        page_info = LinkExtractor(allow='id=\d+&keywords=')
        rules = (
            Rule(main_page, follow=True),
            Rule(page_info, callback='parse_item', follow=True)
        )

##### **♣ 信息抽取函数，获取关键信息** #####

def parse_item(self, response):
        # 职位名称、工作地点、职位类别、招聘人数
        # 由于某些项目的值为空，为防止获取错误，这里标记空值为'UNKNOWN'
        try:
    job_name = response.xpath('//*[@id="sharetitle"]/text()').extract()[0]
        except:
            job_name = 'UNKNOWN'
        try:
    job_location = response.xpath('//tr[2]/td[1]/text()').extract()[0]
        except:
            job_location = 'UNKNOWN'
        try:
    job_type = response.xpath('//tr[2]/td[2]/text()').extract()[0]
        except:
            job_type = 'UNKNOWN'
        try:
    job_needed_people_num = response.xpath('//tr[2]/td[3]/text()').extract()[0]
        except:
            job_needed_people_num = 'UNKNOWN'
        try:
    job_duty = response.xpath('string(//tr[3]/td/ul)').extract()[0]
        except:
            job_duty = 'UNKNOWN'
        try:
    job_requirement = response.xpath('string(//tr[4]/td/ul)').extract()[0]
        except:
            job_requirement = ''
    
        ## 后续进行数据存储操作或存入文件

##### **♣ 数据存入数据库** #####

存入数据库有两种方式：  
1. scrapy提供了pipeline可将数据存入数据库；  
2. 使用pymysql模块直接在得到数据后存入数据库；  
3. 也可使用其他模块操作mysql，如，mysqldb,SQLAlchemy模块。  
这里使用第二种方法。

在信息抽取函数中的完成信息抽取后加入如下代码：

## 后续进行数据存储操作或存入文件
            ## 写入数据库
            param = [job_name.encode('utf-8'), job_location.encode('utf-8'), job_type.encode('utf-8'),
                          job_needed_people_num.encode('utf-8'), job_duty.encode('utf-8'), job_requirement.encode('utf-8')]
            # 连接数据库
            with pymysql.connect(database='tencent_jobs', host='localhost', user='root', password='123456') as cursor:
                # 向表中插入数据的sql语句
                sql_insert = '''
                        insert into jobs (job_name, location, type, needed_people_num, duty, requirement) VALUES (
                        %s, %s, %s, %s, %s, %s
                        )
                    '''
                try:
                    cursor.execute(sql_insert, param)
                except:
                    print("============数据库插入失败！=============")
                    time.sleep(5)     # 暂停以查看错误；亲测，也可不用捕获异常。

##### **♣ 数据写入文件** #####

## 写入文件
            params = [job_name.encode('utf-8'), job_type.encode('utf-8'), job_location.encode('utf-8'), job_needed_people_num.encode('utf-8'), job_duty.encode('utf-8'), job_requirement.encode('utf-8')]
            with open('tencent_jobs.txt', 'a+') as f:
                f.write(str(params[0]) + ', ' + str(params[1]) + ', ' + str(params[2]) + ', ' + str(params[3]) + ', ' + str(params[4]) + ', ' + str(params[5]) + '\n')

##### **♣ 执行爬虫** #####

可在命令行执行程序，也可在项目目录下新建py文件，通过scrapy中cmdline模块执行cmd命令。  
在项目目录下新建runspider.py，添加如下代码：

from scrapy import cmdline
    # 执行cmd命令
    cmdline.execute(['scrapy', 'crawl', 'tencent_jobs'])

##### **♣ 查看爬取结果** #####

使用navicat打开表jobs，也可通过mysql命令行查看，如下图，  
![这里写图片描述][SouthEast 6]

**注意：**提示该表格没有主键，这个可以自己在代码中新建一个id自增作为主键，我偷个懒。。。  
![这里写图片描述][SouthEast 7]

##### **♣ 检查数据是否完整：** #####

网站主页会给出总的职位数，如下图，  
![这里写图片描述][SouthEast 8]

该数目每天可能会发生变化，昨天是`2749`,mysql命令窗口使用命令查询抓取的数据量，

use tencent_jobs;
    select count(job_name) from jobs;

![这里写图片描述][SouthEast 9]

可以看出，是完全一致的，上面网站的那个截图是发生变化了的，只做参考，告诉大家哪里可以找到哈。

1.  本文完整项目代码：[完整示例][Link 1];
2.  能力有限，欢迎指错交流；
3.  拓展工作：  
    1、对数据进行简单的分析，如职位分布、需求量等；  
    2、以此为基础，抓取其他招聘网站信息，做招聘信息数据库；  
    3、利用信息库，对招聘信息进行主题词或关键字提取，提供关键字做工作推荐；  
    4、开始会比较难全面展开，可专注于一个小的招聘领域，如，人工智能的招聘信息，等等

欢迎关注个人微信公众号WaltSmithML或新浪微博WaltSmith，公众号提供机器学习、深度学习、Hadoop、Spark、Python、数学知识等免费视频教程。本人主要方向为机器学习和深度学习。非常欢迎一起交流学习哈，除了学习，还可免费帮忙download论文或者书籍哈==============  
♥♥♥微信公众号♥♥♥![微信公众号WaltSmithML二维码][WaltSmithML]♥♥♥♥![新浪微博WaltSmith二维码][WaltSmith]♥♥新浪微博♥♥

[Link 1]: https://github.com/waltsmith88/blogs-scraping/tree/master/crawl-tencent-jobs
[Scrapy_cnblogs]: http://blog.csdn.net/chengcheng95588/article/details/78955346
[SouthEast]: /images/20220602/ae282b0c265c456fa5e0053e4a067744.png
[SouthEast 1]: /images/20220602/23b7133388a9414a8a9fa19e8cc1ca0c.png
[SouthEast 2]: /images/20220602/585cbcc26220419b9c3c3a75852b1da8.png
[http_hr.tencent.com_position_detail.php_id_35573_keywords_tid_0_lid_0]: http://hr.tencent.com/position_detail.php?id=35573&keywords=&tid=0&lid=0
[SouthEast 3]: /images/20220602/dd6c1b541aa14bf293f2bd9d7111623f.png
[SouthEast 4]: /images/20220602/2771b5b583b84182967872cc938e8b6d.png
[SouthEast 5]: /images/20220602/099522146a394c7e94cd5808bc01a25e.png
[SouthEast 6]: /images/20220602/b7364ef71545462798348577d963566a.png
[SouthEast 7]: /images/20220602/edaccc20371040f390ca5f8081f215fa.png
[SouthEast 8]: /images/20220602/ae14502cd7ba4e458ead99eb56157818.png
[SouthEast 9]: /images/20220602/9dc9c0d453344b08abe59a6d29f9fdcc.png
[WaltSmithML]: https://img-blog.csdn.net/20171208213028218?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbmdjaGVuZzk1NTg4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[WaltSmith]: /images/20220602/250b82e7ec6a48ea9213ec02ca995fe0.png