爬取51job的职位信息

喜欢ヅ旅行 2022-06-07 02:54 369阅读 0赞

\#!/usr/bin/python

\#encoding:utf-8

\#网站---源代码---python信息---匹配findall---写入文件

import urllib

import re

import  sys

reload(sys)

sys.setdefaultencoding('utf-8')\#输出的内容是utf-8格式

\#打开源码，获取网站

i=0;

def get\_content(page):

url='http://search.51job.com/jobsearch/search\_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword=java&keywordtype=2&curr\_page= 2&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord\_field=0&list\_type=0&fromType=14&dibiaoid=0&confirmdate=9'. format(page)

a=urllib.urlopen(url) \#打开网页

html=a.read() \#读取源代码

html=html.decode('gbk') \#从gbk转为unicode

\# print html

return html

\#匹配到正文

def get(html):

reg =re. compile(r'class="t1 ">.\*?<a target="\_blank" title="(.\*?)".\*?<span class="t2"><a target="\_blank" title="(.\*?)".\*?<span class="t3">(.\*?)</span>.\*?<span class="t4">(.\*?)</span>.\*?<span class="t5">(.\*?)</span>', re.S)

items=re. findall(reg,html)

\# print items \#列表list

return items

\# 多页，写入文件

for j in range(1,2000):

html=get\_content(j) \#调用获取源码

for i in get(html):

print i\[0\], i\[1\], i\[2\], i\[3\], i\[4\]

with open('51job.txt','a') as f:

f.write(i\[0\]+'\\t'+i\[1\]+'\\t'+i\[2\]+'\\t'+i\[3\]+'\\t'+i\[4\]+'\\n')

f.close()

发表评论取消回复

表情：

评论列表（有 0 条评论，369人围观）

还没有评论，来说两句吧...

相关阅读

相关 2020.10月最新最简单的51job爬虫爬取岗位信息

用requests、正则表达、Json爬取51job职位信息运行过程及结果如图： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_

蔚落/ 2022年12月18日 10:57/ 0 赞/ 306 阅读

相关 Selenium&Chrome实战:动态爬取51job招聘信息

一、概述 Selenium自动化测试工具，可模拟用户输入,选择,提交。爬虫实现的功能: 1. 输入python,选择地点:上海,北京 ---->就去爬取上海,北京

逃离我推掉我的手/ 2022年12月10日 10:27/ 0 赞/ 487 阅读

相关 Python爬取51job招聘信息

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

谁践踏了优雅/ 2022年12月07日 15:08/ 0 赞/ 356 阅读

相关爬取51job的职位信息

\!/usr/bin/python \encoding:utf-8 \网站---源代码---python信息---匹配findall---写入文件 import urll

喜欢ヅ旅行/ 2022年06月07日 02:54/ 0 赞/ 370 阅读

相关爬虫爬取51job python职位相关信息

分析如下: > 1.(深圳)搜索页: > https://search.51job.com/list/040000,000000,0000,00,

本是古典何须时尚/ 2022年05月13日 00:52/ 0 赞/ 405 阅读

相关 python小爬虫(爬取职位信息和博客文章信息)

1.python爬取招聘信息简单爬取智联招聘职位信息（仅供学习）！/usr/bin/env python --coding:utf-8--

心已赠人/ 2022年04月08日 15:11/ 0 赞/ 344 阅读

相关 selenium爬取拉勾网职位信息

前倾概要拉勾网的反爬虫做可以说非常好。。。。。用一些常规的反反爬虫方法拿不到数据。然后这次就利用selenium模仿用户行为去获取数据。源码 impo

r囧r小猫/ 2022年03月22日 13:50/ 0 赞/ 407 阅读

相关 java爬取前程无忧(51job)

什么是Jsoup jsoup是一款优秀的Java的HTML解析器，主要用来对HTML解析，就是dom的操作,有很多和js方法一样,如getElementById，sele

待我称王封你为后i/ 2021年12月14日 05:41/ 0 赞/ 418 阅读

相关 Python多线程爬取职位信息

一、我们将51job作为爬去目标： 1、网站界面： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cH

缺乏、安全感/ 2021年12月10日 02:01/ 0 赞/ 439 阅读

相关 Selenium模拟浏览器爬取拉勾网职位信息

今天想通过requests库来爬取拉钩网的岗位信息，但通过分析网站发现他的岗位信息都是通过向Ajax请求来获得的，也就是说返回来的网页源代码没有这部分信息，那requests库

r囧r小猫/ 2021年12月08日 22:09/ 0 赞/ 451 阅读