快速掌握阿里云 E-MapReduce

秒速五厘米 2021-09-20 04:36 263阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

**阿里云 Elastic MapReduce（E-MapReduce） 是一种大数据处理的系统解决方案。构建于阿里云云服务器 ECS 上，基于开源的 Apache Hadoop 和 Apache Spark，让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统（如 Apache Hive、Apache Pig、HBase 等）来分析和处理自己的数据。用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统中，如阿里云 OSS、阿里云 RDS 等。**

E-MapReduce 的用途

当用户想要使用 Hadoop、Spark 等分布式处理系统的时候，通常需要经历如下的步骤：

1.  评估业务特点
2.  选择机器类型
3.  采购机器
4.  准备硬件环境
5.  安装操作系统
6.  部署 Hadoop 和 Spark 等 app
7.  启动集群
8.  编写应用程序
9.  运行作业
10. 获取数据等一系列的步骤

在这些流程中，真正跟用户的应用逻辑相关的是从第8步才开始，第1-7步的各项工作都是前期的准备工作，通常这个前期工作都非常冗长繁琐。而 E-MapReduce 提供了集群管理工具的集成解决方案，如主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理、性能监控等。

通过使用 E-MapReduce，用户可以从集群构建各种繁琐的采购、准备、运维等工作中解放出来，只关心自己应用程序的处理逻辑即可。此外，E-MapReduce 还给用户提供了灵活的搭配组合方式，用户可以根据自己的业务特点选择不同的集群服务。例如，如果用户的需求是对数据进行日常统计和简单的批量运算，则可以只选择在 E-MapReduce 中运行 Hadoop 服务；而如果用户还需要流式计算和实时计算的需求，则可以在 Hadoop 服务基础上再加入 Spark 服务。

E-MapReduce 的组成

E-MapReduce 最核心也是用户直接面对的组件是集群。一个 E-MapReduce 集群是由一个或多个阿里云 ECS instance 组成的 Hadoop 和 Spark 集群。以 Hadoop 为例，在每一个 ECS instance 上，通常都运行了一些 daemon 进程（如 namenode、datanode、resoucemanager 和 nodemanager），这些 daemon 进程就组成了 Hadoop 集群。运行 namenode 和 resourcemanager 的节点被称为 master 节点，而运行 datanode 和 nodemanager 的节点被称为 slave 节点。

教学课程：[阿里云 E-MapReduce学习][E-MapReduce]

（课程主要介绍阿里云 E-MapReduce 的使用方法）

教学大纲

教学课时

课时1：E-Mapreduce基本介绍 13:52

课时2：E-Mapreduce基本介绍（PPT）

课时3：E-Mapreduce数据同步 13:12

课时4：E-Mapreduce数据同步（PPT）

课时5：E-Mapreduce离线处理 15:47

课时6：E-Mapreduce离线处理（PPT）

课时7：E-Mapreduce流式处理 15:38

课时8：E-Mapreduce流式处理（PPT）

**课程目标**

*  掌握E-MapReduce的用法

**适合人群**

*  大数据工程师

阿里云大学官网（[阿里云大学 - 官方网站，云生态下的创新人才工场][-]）

转载于:https://my.oschina.net/u/3637633/blog/1629809

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20210726/6dfd12d3468640c8a70a3a43e84d6927.png
[E-MapReduce]: http://link.zhihu.com/?target=http%3A//click.aliyun.com/m/27900/
[-]: http://link.zhihu.com/?target=http%3A//edu.aliyun.com