Hadoop-Apache Hadoop大数据解决方案的整体介绍

电玩女神 2024-04-08 09:07 76阅读 0赞

## 一 大数据价值和当前主要应用 ##

1.  大数据的价值  
    当前全球数据的生产速度急剧加快，**海量数据的存储以及计算**问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。
2.  当前大数据的行业应用  
    大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。

*  电信运营商行业

> 1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务  
> 2）汇聚各应用生产数据/日志数据，建立数仓，进行数据清洗、分析、提供可视化报表服务  
> 3）基于用户画像（行为）数据，建立数仓，结合标签定义，进行数据清洗、加工，为客户营销活动提供服务

*  其他行业应用  
    物流仓库、电商零售、个性推荐、双11购物实时大屏、汽车、生物医学、智慧城市等等

## 二 Hadoop的概要介绍 ##

### 2.1 Hadoop主要组成 ###

> 狭义上讲，Haoop是一个架构平台，包括hdfs、mapreduce和yarn三部分，而广义上讲，Hadoop是一个大数据技术生态圈，还包括hive、hbase、flume、sqoop、kafka、flink等架构或组件，后续我们会针对各个组件一一进行交流分享。

### 2.2 Hadoop特点 ###

**1. 优点**

*  扩容能力：分布式架构决定
 *  低成本：廉价机器即可
 *  稳定性：多副本机制（hdfs-数据）+高可用方案（NN/Yarn等-服务）
 *  高效：分布式架构，并行处理（前提是针对海量数据）

**2. 不适合场景/缺点**

>  *  **不适合低延时访问**
>  *  **不喜欢小文件**
>  *  **不支持多用户写入**
>  *  **不支持数据任意修改**

注：以上主要是针对Hadoop核心存储架构hdfs来讲，原因后续剖析说明。

### 2.3 发行版本 ###

> 1）Apache Hadoop：开源，更新快，但是维护升级相对困难（各组件兼容性导致）  
> 2）CDH：基于开源Hadoop，解决了兼容性，但是收费（企业推荐）  
> 3）HDP：基于开源Hadoop，免费，且提供了界面维护Ambri（已经被CDH收购，前景不明朗）

## 三 Hadoop重要组成 ##

### 3.1 HDFS（分布式文件系统） ###

HDFS解决海量数据的存储问题，主要包含如下三种角色：

1.  **NameNode（nn）**：存储文件的\_元数据\_，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
2.  **SecondaryNameNode（2nn）**：辅助NameNode管理HDFS元数据。
3.  **DataNode（dn）**：在本地文件系统存储文件块数据。  
    备注：后续会继续分享原理细节；  
    ![在这里插入图片描述][972dd5625d4a4e408b907425f15cf6bb.png]

### 3.2 MapReduce：分布式离线并行计算框架 ###

MapReduce解决海量数据计算的问题，主要包含如下两个阶段：

1.  **Map阶段**就是“分”的阶段，并行处理输入数据；
2.  **Reduce阶段**就是“合”的阶段，对Map阶段结果进行汇总；  
    备注：原理和执行流程后续分享。

### 3.3 Yarn：作业调度和集群资源管理框架 ###

1.  **ResourceManager(rm)**：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度；
2.  **NodeManager(nm)**：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令；
3.  **ApplicationMaster(am)**：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。
4.  **Container**：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。  
    ![在这里插入图片描述][e3520d6c867048298cc3ddedcea32a4d.png]

### 3.4 Common ###

**Hadoop Common**：支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）。

[972dd5625d4a4e408b907425f15cf6bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/9c56a69a740c43dab3b4d347dabc0bb3.png
[e3520d6c867048298cc3ddedcea32a4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/85b82fdc54b947c892995339877cc3fb.png