Hadoop 2.x 生态系统及技术架构图

桃扇骨 2023-10-18 15:12 144阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70][]

一、负责收集数据的工具：  
Sqoop（关系型数据导入Hadoop）  
Flume（日志数据导入Hadoop，支持数据源广泛）  
Kafka（支持数据源有限，但吞吐大）

二、负责存储数据的工具：  
HBase  
MongoDB  
Cassandra  
Accumulo

MySql  
Oracle  
DB2

HDFS（Hadoop Distribut File System）2.0

三、底层组件  
Apache Common（通用模块）、  
Avro（序列化成二进制）、  
OS（Linux、windows。。。）

四、通用工具  
Zookeeper分布式协作服务  
Oozie工作流流调度系统  
Ambari图形化部署、非xml，跟踪集群状态

五、分布式计算框架  
MapReduce（通过磁盘离线计算）  
Spark（通过内存实时计算）  
Storm（实现流式数据计算）  
Tez（GAG计算，对MR拆分）  
Impala（实现实时交互式计算）  
Flink、Slider、Open MPI  
HCatalog

YARN（跨集群资源调度管理）以上各种计算框架架构在YAEN上，H2.0引入

六、数据分析处理  
Hive数据仓库  
sql语句生成MR作业

Pig工作流引擎  
类似sql比MR语法简单

Mahout数据挖掘库  
提供了诸多机器学习算法

Java、.net  
R、Scala、Solr  
Impapla、Ohter ISV

七、结果输出  
经过数据分析处理，输出到BI工具、展示系统  
ETL Tools  
BI Reporting  
RDBMS  
OLAP

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190306090517389.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，144人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 2.x 生态系统及技术架构图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6

桃扇骨/ 2023年10月18日 15:12/ 0 赞/ 145 阅读

相关【Hadoop】Hadoop生态系列之HDFS架构简述

上一篇：[Hadoop生态系列之Hadoop简述及环境搭建][Hadoop_Hadoop] 指路牌 HDFS架构简介

左手的ㄟ右手/ 2023年10月05日 10:35/ 0 赞/ 89 阅读

相关 Hadoop生态架构之LogServer实现

分布式日志数据采集 1.NGINX配置： slave2作为分发节点，master和slave1作为日志采集节点 slave2的NGINX配置如下图： ![for

深藏阁楼爱情的钟/ 2023年06月29日 08:59/ 0 赞/ 70 阅读

相关 Hadoop生态系统

![Center][] 摘要：介绍Hadoop生态系统，从Hadoop生态系统有什么成员，成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词

末蓝、/ 2022年08月25日 13:44/ 0 赞/ 251 阅读

相关 Hadoop生态系统小记

www.easyhadoop.com Hadoop能解决哪些问题（Hadoop集群把淘汰的机器放在一起） Hadoop需求海量数据需要及时分析和处理

小鱼儿/ 2022年08月07日 10:58/ 0 赞/ 284 阅读

相关 Hadoop生态系统常用组件导图

Hadoop生态系统主要组件导图： ![这里写图片描述][20161126132053124] [看大图][20161126132053124] [2016112613

不念不忘少年蓝@/ 2022年07月14日 03:55/ 0 赞/ 283 阅读

相关 Hadoop2.X架构浅析

Hadoop2.X核心包括两个module： HDFS – Hadoop File System。 YARN – Yet Another Resource Negoti

蔚落/ 2022年06月15日 09:52/ 0 赞/ 321 阅读

相关 Hadoop生态系统介绍

Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和Nutch Distributed F

骑猪看日落/ 2022年06月07日 02:06/ 0 赞/ 265 阅读

相关 Hadoop生态系统

Hadoop生态系统原创 2016年05月24日 20:20:58 标签： [hadoop][] / [hdfs][] / [MapRedu

落日映苍穹つ/ 2022年06月02日 01:08/ 0 赞/ 297 阅读

相关 hadoop2.2生态系统快速安装脚本

\[b\]\[color=green\]\[size=large\]对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果

待我称王封你为后i/ 2022年04月12日 03:12/ 0 赞/ 253 阅读