Request爬取拉勾网信息

叁歲伎倆 2022-05-16 02:40 334阅读 0赞

首先， 拉勾网是一个典型的难以爬取信息的网站。是因为此网站包含robot协议，获取爬取请求做限制。导致无法顺利爬虫。

另外，职位信息是Ajax文件加载进来的，单纯了通过源码获取不到信息。

下面就开始对网站进行分析：

1.随意搜索一个职位，比如我搜索Python，下面对应出来很多Python的职位信息。。

![70][]

比如：第一个Python的职位叫“Python开发工程师”，此时我们右键查看源码，搜索“Python开发工程师”，却不能找到这个信息

![70 1][]

通过F12,在Network下筛选出XHR响应（可以筛选出Ajax请求响应）

![70 2][]

打开后发现response中有我们要找的数据（所以可以判断这个网页就是通过Ajax加载的）

![70 3][]

当我们这样编写代码的时候发现打印出来的信息很少很少，也就是一些信息获取不到

from urllib import request,parse
    
    url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
    
    resp=request.urlopen(url)
    print(resp.read())

所以，解决这个问题的办法就是修改headers来伪装普通用户访问网页

复制Request Headers中的内容：

![70 4][]

为了伪装的更像是普通用户，我们也把Headers中的“Referer”复制下来，放进我们自定义的Headers里面

![70 5][]

要想发送post请求，我们必须构造Form Data数据：这里我们可以直接将网页中的“Form Data”拿过来进行构造

![70 6][]

具体代码如下：

from urllib import request,parse
    
    url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
    #resp = request.urlopen(url)
    #print(resp.read())
    headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.27 Safari/537.36',
            'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
            }
    data={
          'first': 'true',
          'pn': 1,
          'kd': 'python'
          }
    req=request.Request(url,headers=headers,
                        data=parse.urlencode(data).encode('utf-8'),method='POST')
    
    resp=request.urlopen(req)
    print(resp.read().decode('utf-8'))

推荐这篇文章：[https://www.jianshu.com/p/d30ef6785337][https_www.jianshu.com_p_d30ef6785337]

[70]: /images/20220516/491b5f7e402749aaa83941e1e33bb867.png
[70 1]: /images/20220516/254edd1ce2784990ad42a8404143769b.png
[70 2]: /images/20220516/9349f8703601458f8f62521c86297944.png
[70 3]: /images/20220516/06c0057e7144473daa6bfb397dcd78f3.png
[70 4]: /images/20220516/164e89b3debf41b582afb3b68da94b72.png
[70 5]: /images/20220516/6f5ea87867f14a31ac212de7f70eca95.png
[70 6]: /images/20220516/432d7a3c81e7402dadb13c1bda4593f9.png
[https_www.jianshu.com_p_d30ef6785337]: https://www.jianshu.com/p/d30ef6785337