python爬虫获取的网页数据为什么要加[0-Python爬虫实战1-解决需要爬取网页N秒后的内容的需求...

谁借莪１个温暖的怀抱￠ 2022-11-21 14:09 145阅读 0赞

\-------谢谢您的参考，如有疑问，欢迎交流

前引:

当你需要爬取的页面内容在访问页面5秒后才会出现,

这时使用python的requests模块就很难爬取到你想要的内容了.

requests和selenium的不同:

requests是通过模拟http请求来实现浏览网页的

selenuim是通过浏览器的API实现控制浏览器,从而达到浏览器自动化

上面说了,selenium是通过控制浏览器实现访问的,但是linux的命令行是不能打开浏览器的,

幸运的是Chrome和Firefox有一个特殊的功能headless(无头)模式.(就是wujie面模式)

通过headless模式可以实现在linux命令行控制浏览器。

接下来要实现的就是在linux命令行界面通过Chrome的headless模式,实现获取访问网页5秒后的内容

一. 环境准备

1. 安装谷歌浏览器linux版及其依赖包.

\[root@localhost ~\]\# wget https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm

\[root@localhost ~\]\# yum localinstall google-chrome-stable\_current\_x86\_64.rpm --nogpgcheck

2. 下载selenium连接chrome的驱动程序(要下载和chrome对应的版本).

\[root@localhost ~\]\# google-chrome --version

Google Chrome 72.0.3626.109

\[root@localhost ~\]\# https://chromedriver.storage.googleapis.com/72.0.3626.69/chromedriver\_linux64.zip

\[root@localhost ~\]\# unzip chromedriver\_linux64.zip

\[root@localhost ~\]\# chmod +x chromedrive

3. 安装python需要模块

\# beautifulsoup4是一个html,xml解析器

\[root@localhost ~\]\# pip install beautifulsoup4 selenium

二. 开始实现获取网页5秒后的数据

\#!/usr/bin/env python

\#-\*- coding:utf-8 -\*-

import time

from bs4 import BeautifulSoup

from selenium import webdriver

opt = webdriver.ChromeOptions() \# 创建chrome对象

opt.add\_argument('--no-sandbox') \# 启用非沙盒模式,linux必填,否则会报错:(unknown error: DevToolsActivePort file doesn't exist)......

opt.add\_argument('--disable-gpu') \# 禁用gpu，linux部署需填，防止未知bug

opt.add\_argument('headless') \# 把chrome设置成wujie面模式，不论windows还是linux都可以，自动适配对应参数

driver = webdriver.Chrome(executable\_path=r'/root/chromedriver',options=opt) \# 指定chrome驱动程序位置和chrome选项

driver.get('https://baidu.com') \# 访问网页

time.sleep(5) \# 等待5秒

content = driver.page\_source \# 获取5秒后的页面

soup = BeautifulSoup(content,features='html.parser') \# 将获取到的内容转换成BeautifulSoup对象

driver.close()

print(soup.body.get\_text()) \# 通过BeautifulSoup对象访问获取到的页面内容

发表评论取消回复

表情：

评论列表（有 0 条评论，145人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫初探：Python Scrapy框架爬取网页内容

Scrapy 是一个强大的 Python 网页抓取和分析框架。它设计用于大规模、高效率的爬取。以下是如何使用 Scrapy 构建一个简单的爬虫来爬取网页内容： 1. 安装

ゞ浴缸里的玫瑰/ 2025年01月13日 04:39/ 0 赞/ 17 阅读

相关 Python爬虫初探：爬取网页内容的基本步骤

Python爬虫，简单来说，就是利用编程技术（如Python）模拟人类行为，自动从互联网上抓取信息。以下是基本的步骤： 1. **导入所需库**：首先需要安装`req

本是古典何须时尚/ 2025年01月11日 05:54/ 0 赞/ 22 阅读

相关 python爬虫获取的网页数据为什么要加[0-python3爬虫爬取网页思路及常见问题（原创）...

学习爬虫有一段时间了，对遇到的一些问题进行一下总结。爬虫流程可大致分为：请求网页（request），获取响应（response），解析（parse），保存（save）。

痛定思痛。/ 2022年11月21日 14:09/ 0 赞/ 192 阅读

相关 python爬虫获取的网页数据为什么要加[0-[Python爬虫] 等待网页加载后再获取内容...

0x0 背景最近在学习Python爬虫的相关知识，主要是之前有一个小idea想要用Python实现，沉寂了一年，近期终于下定决心要利用假期时间首要解决此项任务，不然拖到最后

怼烎@/ 2022年11月21日 14:09/ 0 赞/ 246 阅读

相关 python爬虫获取的网页数据为什么要加[0-Python爬虫实战1-解决需要爬取网页N秒后的内容的需求...

\-------谢谢您的参考，如有疑问，欢迎交流前引: 当你需要爬取的页面内容在访问页面5秒后才会出现, 这时使用python的requests模块就很难爬取到你想要的

谁借莪１个温暖的怀抱￠/ 2022年11月21日 14:09/ 0 赞/ 146 阅读

相关 Python爬虫实战(三):简单爬取网页图片

先上代码: coding=utf-8 import urllib.request for i in range(1,41):

淡淡的烟草味﹌/ 2022年06月09日 10:50/ 0 赞/ 384 阅读

相关 python爬虫爬取淘宝网页数据

O、requests 和 re 库的介绍 requests库是一个小型好用的网页请求模块，可用于网页请求，常用来编写小型爬虫安装requests可以使用pip命令：

Bertha 。/ 2022年06月07日 12:16/ 0 赞/ 592 阅读

相关 Python爬虫实战(九)：爬取动态网页

coding=utf-8 import re import json import requests from prettyt

电玩女神/ 2022年06月06日 04:10/ 0 赞/ 373 阅读

相关 Python爬虫爬取动态网页

系统环境：操作系统：Windows8.1专业版 64bit Python：anaconda、Python2.7 Py

迈不过友情╰/ 2022年05月26日 11:48/ 0 赞/ 498 阅读

相关 python爬虫程序，爬取网页图片

一段简单的爬取网页图片的python代码 coding=utf-8 import urllib import re url

- 日理万妓/ 2022年04月04日 15:14/ 0 赞/ 428 阅读