Hadoop(一)：最通俗易懂的Hadoop概述

布满荆棘的人生 2023-03-13 02:09 91阅读 0赞

# Hadoop(一)：Hadoop概述 #

## 大数据概念 ##

大数据（big data），IT行业术语，是指**无法在一定时间范围内**用常规软件工具(如mysql、ssm等)进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的**海量、高增长率和多样化**（图像、语音等）的信息资产。**主要解决海量数据的存储以及海量数据的分析计算**

## Hadoop概述 ##

Hadoop是一个由Apache基金会所开发的**分布式系统**基础架构。**主要解决海量数据的存储以及海量数据的分析计算**，Hadoop核心概念是**HDFS（分布式存储），以及MapReduce**。通俗来将就是，当一个海量数据，如果你使用传统方法去处理，比如10TB的数据，那么数据库就不太够用，并且即使数据库够用，那么在有限的资源（也就是CPU、内存）中处理的数据量是极少 的，10TB数据可能需要运作很久，那么有了Hadoop，HDFS是分布式存储文件系统，它将10TB数据分块存储在不同服务器（节点）中，然后在每个服务器中处理相应文件，也就是相当于n个服务器并行处理，并且每个服务器都不需要太高的配置。而这些处理的任务是由MapReduce分配的。

如果你不太清楚什么是并行：

传统处理方法，假如要写10000个字，你一个人写字速度为一分钟100个，那么就需要100分钟才能写完。

而采用并行处理，相当于有100同学一起写，并且分工明确，那么只需要一分钟，你们100个人就能写10000个字。

### 简单的例子 ###

一个简单的案例就是WordCount，字数统计，假设有100G的文件，要统计里面所有单词出现的次数。

传统方法：

假设我们有个2G的机器。

首先这100G我们不可能都加载到内存中，内存不够，所以要将100G文件依次读入内存中并操作，就产生类似下图的一个队列，每次读取文件的一部分然后再处理，然后处理时间

需要加载至内存的次数 = 100G/2G = 50次

假设每次处理字数统计所用时间为T(process)

假设每次读取至内存所用时间为T(IO)

假设将所有的50次统计结果汇总时间为T(wordcount)

那么一共需要的时间为

> 50次 x \[T(process) + T(IO)\] + T(wordcount)

可以看出是非常耗时的

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70]

采用分布式并行计算后（Hadoop使用类似的方法，但是其多了reduce去汇总处理）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 1]

可以看到，同样将任务分割然后送到集群中不同的服务器（节点），每个服务器并行处理（可以理解为同时处理）。此时，依照上面传统方法的时间计算。共使用了

> 1次 x \[T(process) + T(IO)\] + T(wordcount)

这里要注意，**hadoop实际应用中，会将汇总处理也分布式并行处理，所以其实更加省时**，这里先忽略，依然能看出两者相差的耗时。

看完例子你可能就差不多知道hadoop是干什么的了：

1.  分布式存储：将文件分布式存储在多个服务器（节点）上。
2.  分布式并行处理：通过编写处理任务的代码，将文件进行切割，然后将文件以及任务资源（比如jar包，也就是你写的处理逻辑）分发给多个服务器，每个服务器进行并行处理。

下面会更具体讲解。

### Hadoop优点 ###

**1.高可靠性**。Hadoop按位存储和处理数据的能力值得人们信赖 。

**2.高扩展性**。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

**3.高效性**。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快 。

**4.高容错性**。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配 。

**5.低成本**。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低 。

### Hadoop架构 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 2]

*  MapReduce（计算）
    
     *  并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
 *  HDFS （数据存储）
    
     *  Hadoop分布式文件系统（Distributed File System）－HDFS（Hadoop Distributed File System）
 *  Yarn （资源调度）
    
     *  负责管理集群中的计算资源并使用它们来调度用户的应用程序
 *  Common （辅助工具）
    
     *  在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common，包含其他Hadoop模块所需的库和实用程序；**不关注**

你可以理解为，将文件存储至HDFS，根据自己的需求编写业务代码（包括MapTask，ReduceTask，也就是MapReduce），然后发布，让Yarn负责调度集群中的资源，将任务分发出去，每个领到任务的集群执行任务。

### HDFS架构 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 3]

1.  NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的快列表和块所在的DateNode等。类似一个目录
2.  DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
3.  Secondary NameNode（2nn）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

客户端向NameNode咨询元数据，获取数据位置。然后从对应DateNode读取或写入数据。

### Yarn架构 ###

图自官网：

![在这里插入图片描述][20200509145338588.gif]

1.  ResourceManager（RM）主要作用如下
    
    1.  处理客户端请求
    2.  监控NodeManager
    3.  启动或监控ApplicationMaster
    4.  资源的分配与调度
2.  NodeManager（NM）主要作用如下：
    
    1.  管理单个节点上的资源
    2.  处理来自ResourceManager的命令
    3.  处理来自ApplicationMaster的命令
3.  ApplicationMaster（AM）作用如下
    
    1.  负责数据的切分
    2.  为应用程序申请资源并分配给内部的任务
    3.  任务的监控与容错
4.  Container
    
    Container是YARN中的资源抽象，它封装了某个节点上的多韦弗资源，如内存、CPU、磁盘、网络等。

### MapReduce架构 ###

MapReduce将计算过程分为两个阶段：Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70]: /images/20230312/dc3e2f62f9ee4d5fa4333f8ad924a6b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/0623a773b5304fe88d65b5b242fe204d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 2]: /images/20230312/96ee8382bb1c49eb92ba2cec997c214a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 3]: /images/20230312/36251f4d7f3e44df98997bfd8c57a56b.png
[20200509145338588.gif]: /images/20230312/1751cf8711ab4f04a6da00a76d1699dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NjM3OTQ_size_16_color_FFFFFF_t_70 4]: /images/20230312/242769f3f27946be83872e720f4d5332.png