【selenium+chromedriver】设置代理爬取拉勾网

深藏阁楼爱情的钟 2021-12-04 01:11 332阅读 0赞

from selenium import webdriver
    from lxml import etree
    import re
    
    chromeOptions = webdriver.ChromeOptions()
    driver_path = r'D:\chromedriver\chromedriver.exe'
    chromeOptions.add_argument("--proxy-server=http://代理ip:端口")  # 网上搜一下大把免费代理ip，66代理不错
    driver = webdriver.Chrome(executable_path=driver_path, chrome_options = chromeOptions)
    driver.get('https://www.lagou.com/jobs/list_java?labelWords=&fromSearch=true&suginput=')
    
    html = etree.HTML(driver.page_source)
    items = html.xpath("//ul[@class='item_con_list']/li")
    nodes = html.xpath("//div[@class='li_b_l']/text()")
    asks = []
    for node in nodes:
        if re.sub(r'[ \n]', '', node).__len__() != 0:
            asks.append(re.sub(r'[ \n]', '', node))
    
    for index, item in enumerate(items):
        print('公司：%s\t\t职位：%s' % (item.get('data-company'), item.get('data-positionname')))
        print('工作年限/学历：%s\t\t薪资：%s' % (asks[index], item.get('data-salary')))
        print('##' * 50)

看了一些博客解决反爬，把数据清洗、存储也给写了。  
值得借鉴的也就反爬的十几行，结果来了上百行代码，如果读者用的是elasticsearch，写的是mysql\\cvs是不是浪费读者时间？藕的话就直接关了喔  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70]: /images/20211203/8c1396d436cd4145980de570c82d30a0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，332人围观）

还没有评论，来说两句吧...

相关阅读

相关 Request爬取拉勾网信息

首先，拉勾网是一个典型的难以爬取信息的网站。是因为此网站包含robot协议，获取爬取请求做限制。导致无法顺利爬虫。另外，职位信息是Ajax文件加载进来的，单纯了通过源码获

叁歲伎倆/ 2022年05月16日 02:40/ 0 赞/ 334 阅读

相关 selenium爬拉勾网职位信息并保存到mongoDB数据库

import pymongo from selenium import webdriver from lxml import etree

梦里梦外;/ 2022年05月15日 01:09/ 0 赞/ 248 阅读

相关拉勾网Python岗位爬取

具体流程都在我写的注释中,完整代码如下: import time from selenium import webdriver

妖狐艹你老母/ 2022年05月13日 09:10/ 0 赞/ 469 阅读

相关 node 爬虫实战 - 爬取拉勾网职位数据

node 爬虫实战 - 爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。涉

妖狐艹你老母/ 2022年04月11日 13:22/ 0 赞/ 374 阅读

相关 selenium爬取拉勾网职位信息

前倾概要拉勾网的反爬虫做可以说非常好。。。。。用一些常规的反反爬虫方法拿不到数据。然后这次就利用selenium模仿用户行为去获取数据。源码 impo

r囧r小猫/ 2022年03月22日 13:50/ 0 赞/ 372 阅读

相关 Selenium模拟浏览器爬取拉勾网职位信息

今天想通过requests库来爬取拉钩网的岗位信息，但通过分析网站发现他的岗位信息都是通过向Ajax请求来获得的，也就是说返回来的网页源代码没有这部分信息，那requests库

r囧r小猫/ 2021年12月08日 22:09/ 0 赞/ 415 阅读

相关【selenium+chromedriver】设置代理爬取拉勾网

from selenium import webdriver from lxml import etree import re chr

深藏阁楼爱情的钟/ 2021年12月04日 01:11/ 0 赞/ 333 阅读

相关设置cookie爬取拉钩网

import requests start_url = 'https://www.lagou.com/jobs/list_python?labelWo

蔚落/ 2021年12月03日 21:27/ 0 赞/ 357 阅读

相关 selenium完整爬取拉勾网全国java岗位

爬取全国java岗位 from selenium import webdriver from lxml import etree import re

た入场券/ 2021年12月03日 05:57/ 0 赞/ 380 阅读

相关 python爬虫爬取拉勾网招聘信息

python爬虫爬取拉勾网招聘信息话不多说，直接上代码！ import math import random import requests

叁歲伎倆/ 2021年07月26日 12:55/ 0 赞/ 740 阅读