Hadoop入门

今天药忘吃喽~ 2022-12-13 12:51 142阅读 0赞

什么是大数据  
大数据能做什么  
Hadoop起源  
Hadoop组件  
Hadoop搭建

**一、什么是大数据**  
大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 [\----百度百科][----]

**二、大数据能做什么**

*  洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。
 *  Google流感趋势（Google Flu Trends）利用搜索关键词预测禽流感的散布。
 *  梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。
 *  医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。
 *  新的处理模式包括但不限于：大规模并行处理数据库，数据挖掘，分布式文件系统，分布式数据库，云计算平台，可扩展存储系统等。  
    [\----百度百科][----]

**三、Hadoop起源**  
**3.1 Hadoop是什么**  
是一种分析和处理海量数据的开源软件平台，提供一个分布式基础框架，由java开发。

**3.2 Hadoop特点**  
高可靠性、高扩展性、高效性、高容错性、低成本。

**3.3 Hadoop由来**  
2003年google发表了几篇论文：GFS、MapReduce、BigTable。  
`GFS:` 是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。运行在硬件上，提供容错功能。  
`MapReduce:` 是针对分布式并行计算的一套编程模型。由Map和Reduce组成，Map是映射，把指令分发到多个worker上去；reduce是规约，把Map的worker计算的结果合并。  
`BigTable:` 存储结构化数据。建立在GFS，Scheduler， Lock Service和MapReduce之上的。每个table都是一个多维的稀疏图

Yahoo根据论文用java将其实现，并命名为Hadoop。(HDFS+MapReduce+Hbase)

**四 Hadoop生态系统**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center]

<table> 
 <thead> 
  <tr> 
   <th>组件</th> 
   <th>简介</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>Hadoop分布式文件系统</td> 
  </tr> 
  <tr> 
   <td>Mapreduce</td> 
   <td>分布式计算框架</td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
   <td>分布式协作服务</td> 
  </tr> 
  <tr> 
   <td>Hbase</td> 
   <td>分布式列存数据库</td> 
  </tr> 
  <tr> 
   <td>Hive</td> 
   <td>基于Hadoop的数据仓库</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>数据同步工具</td> 
  </tr> 
  <tr> 
   <td>Pig</td> 
   <td>基于Hadoop的数据流系统</td> 
  </tr> 
  <tr> 
   <td>Mahout</td> 
   <td>数据挖掘算法库</td> 
  </tr> 
  <tr> 
   <td>Flume</td> 
   <td>日志收集工具</td> 
  </tr> 
 </tbody> 
</table>

**五、Hadoop组件**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 1]  
**5.1 HDFS: 分布式文件系统**  
**5.1.1 结构图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 2]  
HDFS Client的意义：将数据进行切块的执行者；  
NameNode的意义：决定数据存哪的管理者；  
Block的意义：将数据按一定的大小分成几个部分，并均衡存储在各个节点上。

举例：【旅行团入住酒店】  
前台(NameNode)获知游客入住请求后，给出几个房间号牌给旅行团，并在系统中记录游客房号入住信息。  
导游(HDFS Client)给根据人数(Block)给游客分配房间(DataNode)。  
为应对游客的频繁更换房间(出于房间设施问题等)，管理员(Secondary NameNode)定期在住房变更日志中将最新的信息在系统中进行更新。  
警察来酒店找人，询问前台(NameNode)某人(数据)的房号位置，警察直接进房与本人交流。

**5.1.2 角色及概念**

*  NameNode：Master节点，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理所有客户端请求。
 *  Secondary NameNode: 定期合并fsimage和fsedits，推送给NameNode；紧急情况下可辅助恢复NameNode，但并非NameNode的热备。
 *  DataNode: 数据存储节点，存储实际的数据，汇报存储信息给NameNode。
 *  Client: 切分文件、访问HDFS、与NameNode交互，获取文件信息位置、与DataNode交互，读写数据。
 *  Block: 每块缺省64MB大小，每块可多个副本。

MapReduce: 分布式计算框架  
Yarn：集群资源管理系统

**5.2 MapReduce 分布式计算框架**  
**5.2.1 结构图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 3]  
JobTracker接收客户端请求，查看小弟(业务机器)有谁？把任务发布下去。  
TaskTracker接收到任务后，启动Map、Reduce工作，完成后返回给JobTracker。  
JobTracker收到所有小弟的汇报后将结果返回给客户端。  
**5.2.2 角色和概念**

*  JobTracker：Master节点(只有一个)，管理所有作业；作业/任务的监控、错误处理；将作业分解成一系列任务，并分派给TaskTracker。
 *  TaskTracker：Slave节点(可多个)，运行Map Task和Reduce Task；并与JobTracker交互，汇报任务状态
 *  Map Task：解析每条数据记录，传递给用户编写的map()并执行，将输出结果写入本地磁盘(若为map-only作业，直接写入HDFS)。
 *  Reduce Task：从Map Task的执行结果中，远程读取输入数据，对数据进行排序，将数据安装分组传递给用户编写的reduce函数执行。

**5.3 Yarn集群资源管理系统**  
Yarn的核心思想：将JobTracker和TaskTacker进行分离，由以下组件构成：

<table> 
 <thead> 
  <tr> 
   <th>组件</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ResourceManager</td> 
   <td>一个全局资源管理器</td> 
  </tr> 
  <tr> 
   <td>NodeManager</td> 
   <td>每个节点(RM)代理</td> 
  </tr> 
  <tr> 
   <td>ApplicationMaster</td> 
   <td>代表每个应用，每个有多个Container在NodeManager上运行</td> 
  </tr> 
 </tbody> 
</table>

**5.3.1 结构图**  
![官方图][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 4]

**5.3.2 角色和概念**

*  ResourceManager：处理客户端请求；启动/监控ApplicationMaster；监控NodeManager；资源分配和调度。
 *  NodeManager：单节点上的资源管理；处理来自ResourceManager的命令；处理来自ApplicationMaster的命令
 *  ApplicationMaster：数据切分；为应用程序申请资源、并分配给内部任务；任务监控与容错。
 *  Container：对任务运行环境的抽象，封装了CPU、内存等；多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度
 *  Client: 用户于Yarn交互的客户端程序；提交应用程序、监控应用程序状态，杀死应用程序等。

**六、Hadoop搭建**  
**6.1 单节点**

**6.2 伪分布式**

**6.3 完全分布式**

[----]: https://baike.baidu.com/item/%E5%A4%A7%E6%95%B0%E6%8D%AE/1356941?fr=aladdin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/1892053f4bdb4dc080fb78d0e6d9ffd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/34a932cbd24440789e73e8f251a74cc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/8f8d760db8604a85bad1325a5a4dda92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/42b41d4fa9074fb2933306847af8eb92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/66d1fde0a31c42c894f60c1effe030d9.png