01--小白学Python爬虫之爬虫概念、分类、原理及连载规划

秒速五厘米 2022-05-30 02:05 205阅读 0赞

### 前言 ###

> 小到出门扯淡，大到国家政策，无一例外，比较常见的三个字”大数据”，处处表示着已经进入大数据时代，那在大数据时代，最重要的是什么呢？毫无疑问，数据！而数据又是怎么来的呢？下面简单列一下：

*  企业生产的用户数据  
    
    
     *  比如像BAT等公司，拥有庞大的用户群体，用户的任何行为都会成为他们数据源的一部分
 *  数据平台购买数据  
    
    
     *  比如从国家数据中心 数据市场等购买
 *  政府 机构公开数据  
    
    
     *  比如统计局 银行公开数据等
 *  数据管理公司  
    
    
     *  比如艾瑞咨询等
 *  爬虫获取网络数据  
    
    
     *  通过网络爬虫技术，爬去网络数据，以供使用

### 概念 ###

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。(以上概念来自百度百科)

简而言之 就是通过程序去网络上抓取自己想要的数据信息。

### 爬虫分类 ###

#### 通用网络爬虫 ####

##### 概念 #####

搜索引擎用的爬虫系统

##### 目标 #####

尽可能把互联网上网页下载下来，放到自有服务器形成备份，再对这些网页做提取关键字等处理，对外提供用户检索接口

##### 抓取流程 #####

1.  选择目标URL，放入待爬取队列
2.  从队列中取出URL，解析DNS得到主机IP，接着去IP对应的服务器中下载HTML，保存到本地服务器，将此URL放入已爬取队列
3.  分析网页内容，根据需求查找网页内其他URL，继续执行第二步，直至爬取条件结束

> 一句话：取网页–>存储数据–>内容处理–>提供检索

##### 缺点 #####

1.  只能提供和文本相关内容，不能提供多媒体和二进制文件等
2.  提供的结果不具有特殊性，不能针对不同背景领域的人提供不同的搜索结果
3.  不能理解为人类语义上的检索

##### 爬行策略 #####

1.  深度优先  
    
    
     *  按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止
2.  广度优先  
    
    
     *  按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行

#### 聚焦网络爬虫 ####

##### 概念 #####

又称主题网络爬虫，选择性的爬取与预先定义好的主题相关方面的爬虫。

##### 优势 #####

*  只爬取与主题相关的页面，极大的节省了硬件和网络资源
 *  保存页面少，更新快
 *  更好的满足特定人群对特定领域信息需求

##### 其它 #####

同通用网络爬虫

### 爬虫应用示例 ###

*  抓取社交网站妹纸信息
 *  抓取网络视频数据
 *  抓取网络小说 段子等信息
 *  只要能通过浏览器访问，都可以get到

### 连载规划 ###

#### 如何抓取HTML页面 ####

*  HTTP请求处理
 *  urllib requests等模拟浏览器发送请求

#### 解析服务器响应内容 ####

*  re xpath bs4 jsonpath pyquery等使用
 *  对需要提取数据定义匹配规则，来匹配筛选出目标内容

#### 采集动态HTML，验证码处理 ####

*  通用的动态页面采集：Selenium+PhantomJS（无界面）,模拟真实浏览器加载js ajax等非静态页面数据
 *  Tesseract:机器学习库，机器图像识别系统，可以处理简单的验证码，复杂的可以通过手动输入或专门的打码平台

#### Scrapy框架(Scrapy Pyspider) ####

*  高定制性 高性能，异步网络框架twisted，下载数据速度快
 *  提供数据存储 下载 提取规则等组件

#### 分布式策略(scrapy-redis) ####

*  scrapy-redis，在scrapy基础上添加了一套以Redis数据库为核心的组件
 *  让Scrapy框架支持分布式功能，在Redis中做请求指纹去重 请求分配 数据临时存储等

### 结语 ###

学习和记录的过程是漫长而枯燥的，从现在起，打满鸡血，时刻督促提醒自己，希望能够坚持到底。最后一句话，与君共勉–>路漫漫其修远兮，吾将上下而求索~

发表评论取消回复

表情：

评论列表（有 0 条评论，205人围观）

还没有评论，来说两句吧...

相关阅读

相关 01 Python 网络爬虫：爬虫技术的核心原理

不夸张地说，现在哪怕是初中生，只要花点儿时间、精力稍微按「网络爬虫」的开发步骤学习了解一下，也能把它玩得贼溜。听起来感觉是很高大上的东西，但实际上并不复杂，也就是使用了某种

快来打我*/ 2024年03月23日 23:20/ 0 赞/ 75 阅读

相关 01-为什么要学爬虫-python小白爬虫入门教程

学习目的以及需求 1. `需求来自于：抓取的某个网站或者某个应用的内容，提取有用的价值` 实现手段 1. `模拟用户在浏览器或者应用(

小鱼儿/ 2022年12月08日 05:54/ 0 赞/ 210 阅读

相关小白如何入门 Python 爬虫？

http://dataunion.org/14510.html “入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不

墨蓝/ 2022年08月10日 05:43/ 0 赞/ 229 阅读

相关 04—小白学Python爬虫之正则入门及使用

正则表达式简介前言简而言之，爬虫分为四步：明确目标(爬取网站) 爬取页面按照规则提取有用数据存储和使用数据在前面的示例中，我

喜欢ヅ旅行/ 2022年05月30日 09:59/ 0 赞/ 269 阅读

相关 02—小白学Python爬虫之HTTP协议简介

> 网络抓取，就是把URL地址中的网络资源从网络流中读取出来，保存到本地。python中有很多库可以实现抓取，下面先从最基本的urllib讲起(以python3为例，pytho

淩亂°似流年/ 2022年05月30日 02:42/ 0 赞/ 190 阅读

相关 01--小白学Python爬虫之爬虫概念、分类、原理及连载规划

前言 > 小到出门扯淡，大到国家政策，无一例外，比较常见的三个字”大数据”，处处表示着已经进入大数据时代，那在大数据时代，最重要的是什么呢？毫无疑问，数据！而数据又是怎么

秒速五厘米/ 2022年05月30日 02:05/ 0 赞/ 206 阅读

相关 05—小白学Python爬虫之XPath XML lxml简介及案例

> 上一篇文章，介绍了使用正则来处理HTML文档，功能和效率很强大，但是写起来有点繁琐，那么有没有其他方法呢？答案是肯定的，那么这一篇，就简单来介绍一下XPath解析以及示例。

红太狼/ 2022年05月29日 01:22/ 0 赞/ 202 阅读

相关 09—小白学Python爬虫之Scrapy快速入门与实战

> 从本篇起，将学习一下Scrapy爬虫框架，以及如何通过该框架实现定向爬虫。Scrapy是一个非常优秀的框架，操作简单，扩展方便，是比较流行的爬虫解决方案。初识 S

￡神魔★判官ぃ/ 2022年05月28日 08:44/ 0 赞/ 240 阅读

相关 08—小白学Python爬虫之Requests高级特性

> 上篇文章介绍了Requests及基本使用，在掌握了基础后，那么本篇就来看一下Requests的一些高级特性。高级使用会话对象会话对象让你能够跨请求保持某

「爱情、让人受尽委屈。」/ 2022年05月28日 02:49/ 0 赞/ 208 阅读

相关 07—小白学Python爬虫之Requests简介及基本使用

> 前面几篇文章的案例介绍，都是通过urllib完成的，不知各位发现没，使用起来比较繁琐，1. 创建Request对象，2. 调用urlopen方法，3. 拿到返回后，还需要进

小灰灰/ 2022年05月28日 02:08/ 0 赞/ 210 阅读