抓取58job, 赶集job以及智联招聘，并使用数据分析生成echarts图

快来打我* 2022-02-02 16:41 294阅读 0赞

### \*\*抓取58job, 赶集job以及智联招聘，并使用数据分析生成echarts图\*\* ###

*  爬虫部分
 *   *  抓取智联招聘的信息
     *  抓取58同城的招聘信息
     *  抓取赶集网的招聘信息
     *  最后关于爬虫如何同时启动多个spider
     *   *  crawlall.py中的内容：
         *  更改settings.py
         *  启动
     *  爬虫部分到此结束，单个如何启动大家也都知道。
 *  数据转换部分（可以忽略）
 *   *  process\_item\_mysql.py
 *  可视化部分
 *   *  可视化采用的flask+mysql+echarts
     *   *  web网站的整体图
         *  学历要求
         *  学历工资图
         *  经验要求
         *  词云图
 *  完成

# 爬虫部分 #

爬虫部分使用scrapy-redis分布式爬虫，通过redis实现增量爬取以及去重，并将所有的数据直接保存到redis中，后续再做处理  
github：[https://github.com/AndrewAndrea/spider\_work][https_github.com_AndrewAndrea_spider_work]  
代码已经提交到GitHub中，不是很完善，爬虫爬取的信息没有详情页的数据，只有赶集网的数据是详情页的。有点懒得写了。  
可以自己把代码clone下来，在做完善。  
微信公众号，公众号中有更多资源，以及更多干货欢迎关注，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]  
![公众号][20190512104759478.jpg_pic_center]

## 抓取智联招聘的信息 ##

这个很简单

## 抓取58同城的招聘信息 ##

这个也很简单，我的代码只做了一个城市的抓取，可以做扩展

## 抓取赶集网的招聘信息 ##

这个也简单。就不说了，也是一个城市的信息。

## 最后关于爬虫如何同时启动多个spider ##

如何将所有的爬虫的同时启动，这个我写一下，记录一下，避免以后给忘了。  
首先，需要在爬虫文件新建一个commond包，[在该目录下新建文件crawlall.py][crawlall.py]。  
目录结构：  
![目录结构][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]

### crawlall.py中的内容： ###

#!/usr/bin/env python 
    # -*- coding: utf-8 -*- 
    # @Time : 2019/5/6 16:31 
    # @Author : zhao.jia
    # @Site : 
    # @File : crawlall.py 
    # @Software: PyCharm
    
    from scrapy.commands import ScrapyCommand
    
    
    class Command(ScrapyCommand):
        requires_project = True
    
        def syntax(self):
            return '[options]'
    
        def short_desc(self):
            return 'Runs all of the spiders'
    
        def run(self, args, opts):
            spider_list = self.crawler_process.spiders.list()
            for name in spider_list:
                self.crawler_process.crawl(name, **opts.__dict__)
            self.crawler_process.start()

### [更改settings.py][settings.py] ###

COMMANDS_MODULE = 'spider_work.command'

### 启动 ###

scrapy crawlall

## 爬虫部分到此结束，单个如何启动大家也都知道。 ##

# 数据转换部分（可以忽略） #

我是通过 MySQL 去做的，所以需要将 Redis 中的数据取出来存到 MySQL 中。  
Redis 存储的类型是列表，所以有重复数据。redis 取数据采用 lpop 方法。通过给 MySQL 表中的字段加索引，来去重，插入语句使用 replace into 而不是 insert into，可以去看看我的另外一篇文章[关于插入不重复数据replace][replace]

## process\_item\_mysql.py ##

#!/usr/bin/env python 
    # -*- coding: utf-8 -*- 
    # @Time : 2019/4/29 23:15 
    # @Author : zhao.jia
    # @Site : 
    # @File : process_item_mysql.py 
    # @Software: PyCharm
    
    import pymysql
    import redis
    import json
    
    
    def process_item(key):
        Redis_conn = redis.StrictRedis(host='ip', port=6379, db=0, password='pass')
        MySql_conn = pymysql.connect(host='ip', user='root', passwd='pass', port=3306, db='dbname')
        cur = MySql_conn.cursor()
        while True:
            data = Redis_conn.lpop(key)
            if data:
                try:
                    data = json.loads(data.decode('unicode_escape'), strict=False)
                except Exception as e:
                    process_item(key)
                print(data)
                try:
                    if '-' in data['city']:
                        city = data['city'].split('-')[0]
                    else:
                        city = data['city']
                except Exception as e:
                    city = data['city']
                lis = (
                    pymysql.escape_string(data['jobType']),
                    pymysql.escape_string(data['jobName']),
                    pymysql.escape_string(data['emplType']),
                    pymysql.escape_string(data['eduLevel']),
                    pymysql.escape_string(data['salary']),
                    pymysql.escape_string(data['companyName']),
                    pymysql.escape_string(city),
                    pymysql.escape_string(data['welfare']),
                    pymysql.escape_string(data['workingExp']))
                sql = (
                        "replace into work(jobType, jobName, emplType, eduLevel, salary, companyName, city, welfare, workingExp) VALUES ('%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s')" % lis)
                try:
                    cur.execute(sql)
                    MySql_conn.commit()
                except Exception as e:
                    MySql_conn.rollback()
            else:
                break
        cur.close()
        MySql_conn.close()
    
    
    if __name__ == "__main__":
        key_list = ['job_spider:items', 'jobs58:items', 'jobsganjispider']
        for i in range(3):
            process_item(key_list[i])

# 可视化部分 #

## 可视化采用的flask+mysql+echarts ##

具体代码见我的[GitHub][]，这里就不贴了。

贴一下几个图吧

### web网站的整体图 ###

![整体][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]

### 学历要求 ###

![学历要求][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]

### 学历工资图 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]

### 经验要求 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]

### 词云图 ###

![词云][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]

# 完成 #

[https_github.com_AndrewAndrea_spider_work]: https://github.com/AndrewAndrea/spider_work
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20220202/3b6dc74e99484a3cafadf58cd015dd60.png
[20190512104759478.jpg_pic_center]: /images/20220202/118c9783fe1f410baa1a8b91fcb5270b.png
[crawlall.py]: http://xn--crawlall-t39lz9el41bpov07aq39csra302t2q3d.py
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220202/298719d5201946908aca4bbae6de24e6.png
[settings.py]: http://xn--settings-pp3qn2l.py
[replace]: https://blog.csdn.net/zhao_5352269/article/details/86512026
[GitHub]: https://github.com/AndrewAndrea
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220202/8450d166d1784225be7bcf982c09a2f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220202/05e560f22fa64381bb79467abc591f0c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220202/cff63b8f91894f7b8990df03791ec8a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220202/99d2f8afe8ac4052b3a46737efa55b1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGFvamlhLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20220202/b955813d89ae4caa8e6f2504923d0178.png