python3 [爬虫实战] 微博爬虫京东客服之Selenium + Chrom浏览器的使用(上)

阳光穿透心脏的1/2处 2021-06-24 15:57 253阅读 0赞

### 先暂时记录一下 ###

首先 Chrom浏览器一定要匹配好， 不能在百度搜索中下载最新的谷歌浏览器，我现在下的是版本50的浏览器。匹配的chromedriver.exe 是2.9的。32位的同样也使用64位的。

> 需要把chromedriver.exe 安装在谷歌浏览器的安装目录下，路径是：**C:\\Program Files (x86)\\Google\\Chrome\\Application**

与chrome.exe是同一个目录级别，　最后再把该路径设置在环境变量中**C:\\Program Files (x86)\\Google\\Chrome\\Application＼chromedriver.exe**

上面的是一个大坑，因为之前用的一直是PhantomJS 没有界面的浏览器

--------------------

其二：简单的爬取微博内容，很坑比的微博，登陆验证还需要图片。

到这里就懵逼了。

一开始简单的使用搜索功能，单个元素的使用直接用chrome下的xpath直接用就行

后面加了些自动登录的代码，到登录那里还需要验证输入图片上的玩意

直接GG

> 现在给出代码片吧，里面分两块内容，有兴趣的可以稍微研究研究

# -*- coding: utf-8 -*-
    # @Time : 2017/8/21 21:52
    # @Author : 蛇崽
    # @Email : 17193337679@163.com
    # @File : SeleniumTestVedio.py 根据视频进行练习
    
    from selenium import webdriver
    from selenium import webdriver
    import os
    import time
    
    chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
    os.environ["webriver.chrome.driver"] = chromedriver
    browser = webdriver.Chrome(chromedriver)
    webdriver.PhantomJS
    url = "https://www.weibo.com/"
    browser.get(url)
    time.sleep(5)
    # inputId = browser.find_element_by_class_name('W_input')
    # inputId.send_keys('@京东客服')
    # time.sleep(1)
    # button = browser.find_element_by_xpath('//*[@id="weibo_top_public"]/div/div/div[2]/a')
    # button.click()
    # time.sleep(3)
    # browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    # # 立即登录按钮
    # btnLogin = browser.find_element_by_xpath('//*[@id="pl_weibo_direct"]/div/div[4]/div/p/span[2]/a[1]')
    # btnLogin.click()
    #手机号登录
    phoneLogin = browser.find_element_by_xpath('//*[@id="loginname"]')
    phoneLogin.send_keys('微博账号')
    
    # 密码
    phonePwd = browser.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[2]/div/input')
    phonePwd.send_keys('微博密码')
    
    time.sleep(3)
    # 登录按钮
    btnNext = browser.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[6]/a')
    btnNext.click()

以上注释的一段是一个搜索功能，搜索京东客服这玩意，上好几个任务没有完成的内容， 下面一段没有注释的是微博登陆的代码， 在chrome 浏览器下面看，还是稍微有点成就感的， 因为这个selenium 之前没怎么很熟悉的用过

> 不过selenium 还是需要认真的看看文档的

## 再做一下总结： ##

### 针对微博爬虫，京东数据爬虫，使用ajax的加载，用selenium 或者 使用维持cookie池，ip代理池，就好。另外崔庆才大神的视频我也有部分，大家想要的可以问我百度云 ###

好困， 先睡了。