CDH5实践（二）Cloudera Manager 5安装Hive,HBase,Impala,Spark等服务

快来打我* 2022-09-25 14:20 179阅读 0赞

转载自博客：[http://blog.csdn.net/yangzhaohui168/article/details/33403555][http_blog.csdn.net_yangzhaohui168_article_details_33403555]

Apache Hadoop的服务的部署比较繁琐，需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。

Cloudera Manager提供两种软件包安装源，Package 和 Parcel：

Package就是一个个rpm文件，以yum的方式组织起来。

Parcel是rpm包的压缩格式，以.parcel结尾，所有的rpm压缩在一个文件中，方便下载和分发，使用manifest.json文件对parcel文件进行描述，将parcel文件保存到局域网内的Web服务器上，安装过程中就不需要从互联网上下载文件了，实现了离线安装。

## 一、安装前准备工作 ##

安装Hive,HBase,Impala,Spark之前，Cloudera Manager应该已经安装好了，参见：[本地Yum软件源安装Cloudera Manager 5][Yum_Cloudera Manager 5] 这篇文章，使用的操作系统为 CentOS-6.5-x86\_64，CM版本为 5.0.2 ，采用parcel包方式安装，

### 1、下载安装中需要的文件： ###

从 http://archive.cloudera.com/cdh5/parcels/5.0.2.13/ 下载如下的文件，保存到Web服务器的 /var/www/html/cdh5/parcels/latest 目录 ：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \[root@localhost latest\]\# pwd  
2.  /**var**/www/html/cdh5/parcels/latest  
3.  \[root@localhost latest\]\# ll  
4.  total 1793948  
5.  \-rw-r--r-- 1 root root 1836961055 Jun 15 06:51 CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel  
6.  \-rw-r--r-- 1 root root      33190 Jun 15 09:04 manifest.json

从 http://archive-primary.cloudera.com/redhat/cdh/ 下载：RPM-GPG-KEY-cloudera，这是对rpm包进行校验的文件，保存到Web服务器的 /var/www/html/redhat/cdh 目录：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \[root@localhost cdh\]\# pwd  
2.  /**var**/www/html/redhat/cdh  
3.  \[root@localhost cdh\]\# ll  
4.  total 4  
5.  \-rw-r--r-- 1 root root 1690 Jun 16 07:32 RPM-GPG-KEY-cloudera  
6.  \[root@localhost cdh\]\#

### 2、准备安装的服务器 ###

测试环境一共使用了六台服务器，列表如下：

<table style="color:rgb(54,46,43); font-family:Arial; font-size:14px; line-height:26px">  服务器列表  
 <tbody> 
  <tr> 
   <th>ip地址</th> 
   <th>hostname</th> 
   <th>描述信息</th> 
  </tr> 
 </tbody> 
 <tbody> 
  <tr> 
   <td>172.16.230.140</td> 
   <td>archive.cloudera.com</td> 
   <td>本地web服务器</td> 
  </tr> 
  <tr> 
   <td>172.16.230.141</td> 
   <td>cm.worker.com</td> 
   <td>CM，管理节点</td> 
  </tr> 
  <tr> 
   <td>172.16.230.151</td> 
   <td>h1.worker.com</td> 
   <td>节点1</td> 
  </tr> 
  <tr> 
   <td>172.16.230.152</td> 
   <td>h2.worker.com</td> 
   <td>节点2</td> 
  </tr> 
  <tr> 
   <td>172.16.230.153</td> 
   <td>h3.worker.com</td> 
   <td>节点3</td> 
  </tr> 
  <tr> 
   <td>172.16.230.154</td> 
   <td>h4.worker.com</td> 
   <td>节点4</td> 
  </tr> 
 </tbody> 
</table>

所有的服务器上安装CentOS-6.5-x86\_64，并关闭防火墙、selinux、保持时间一致。保持所有的root用户密码一致。一个Hadoop集群中的节点最少为三台，本测试环境的节点为四台，上面的ip地址需要根据自已的网络情况进行调整，这是我搭建的虚拟机的IP。

### 3、在web服务器上发布CentOS-6.5-x86\_64安装盘文件 ###

安装过程中，需要从CentOS-6.5-x86\_64安装盘上读取一些rpm包，需要将安装盘发布为本地yum源。将安装盘挂载到web服务器，并添加软连接到web目录，web服务器上的web根目录如下：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \[root@localhost html\]\# pwd  
2.  /**var**/www/html  
3.  \[root@localhost html\]\# ll  
4.  total 12  
5.  drwxr-xr-x 3 root root 4096 Jun 15 06:48 cdh5  
6.  lrwxrwxrwx 1 root root   24 Jun 20 08:12 centos\_media -> /media/CentOS\_6.5\_Final/  
7.  drwxr-xr-x 3 root root 4096 Jun 14 10:04 cm5  
8.  drwxr-xr-x 3 root root 4096 Jun 16 07:29 redhat

### 4、创建 hosts 和 yum配置文件 ###

创建hosts文件，保存到所有服务器的 /etc/hosts ，内容如下：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4  
2.  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  
3.    
4.  172.16.230.140 archive.cloudera.com  
5.  172.16.230.141 cm.worker.com  
6.  172.16.230.151 h1.worker.com  
7.  172.16.230.152 h2.worker.com  
8.  172.16.230.153 h3.worker.com  
9.  172.16.230.154 h4.worker.com

创建 myrepo.repo 文件，保存到所有服务器的 /etc/yum.repos.d 目录，内容如下：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \[myrepo\]  
2.  name=myrepo  
3.  baseurl=http://172.16.230.140/cm5/redhat/6/x86\_64/cm/5/  
4.  enabled=1  
5.  gpgcheck=0

创建 CentOS-Media.repo 文件，保存到所有服务器的 /etc/yum.repos.d 目录，内容如下：

**\[javascript\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \[c6-media\]  
2.  name=CentOS-$releasever - Media  
3.  baseurl=http://172.16.230.140/centos\_media  
4.  gpgcheck=0  
5.  enabled=1  
6.  exclude = jdk\*

注意， /etc/yum.repos.d 目录，仅存在  myrepo.repo 和  CentOS-Media.repo  两个文件.

### 5、cm.worker.com 上安装 PostgreSQL ###

Hive需要使用一个关系数据库作为Metastore数据库，使用嵌入式数据库存在性能问题，需要在cm.worker.com 上安装一个PostgreSQL数据库，创建用户hiveuser，创建数据库 hivedb，指定数据库拥有者为hiveuser，详细过程可以参见这篇文章：[PostgreSQL新手教程][PostgreSQL]

（备注：我是参考这个和原文不同http://www.cnblogs.com/mchina/archive/2012/06/06/2539003.html）

## 二、图解Hive,HBase,Impala,Spark 的安装和配置 ##

做了上面的准备工作后，登录CM5就可以开始安装了，安装过程大部分情况下都不需要修改默认值，需要修改的地方会以文字说明，下面是安装过程的截图，

### 1、登录CM5 ###

![登录CM5][CM5]

### 2、选择Cloudera Express ###

![选择Cloudera Express][Cloudera Express]

### 3、可供选择的安装包列表 ###

![可供选择的安装包列表][SouthEast]

### 4、为CDH集群指定主机 ###

输入 172.16.230.\[151-154\] ，根据自已网络情况进行调整，然后点击搜索。

![为CDH集群指定主机][CDH]

### 5、进入添加主机向导 ###

使用parcel安装方式，parcel下载路径不用修改，已经发布在本地web服务器中了。

![添加主机向导1][1]

不需要java加密，保留默认值：

![添加主机向导2][2]

输入root的密码，所有节点的root密码是一致的。同时安装的数据默认为10，考虑到是虚拟机，修改为2。如果是真实服务器，请保留默认值为10.

![添加主机向导3][3]

进行节点CM管理程序安装，如果出现问题，请检查hostname与ip地址配置是否正确。

![添加主机向导4][4]

下载和分配parcel包，由于parcel包有1.8G大小，执行时间较长，可以喝杯咖啡再回来。

![添加主机向导5][5]

主机安装完成：会对主机进行检查，有个 swappness 需要调整，如果是真实服务器，请将 swappness修改为0，尽量不使用交换分区。

![添加主机向导6][6]

### 6、进入添加服务向导： ###

选饿所有服务

![添加服务向导01][01]

保持默认的节点角色配置：

![添加服务向导02][02]

![添加服务向导03][03]

![添加服务向导04][04]

选择自定义数据库，填写连接信息，并点击测试连接按钮：

![添加服务向导05][05]

添加服务的详细配置，保留默认值：

![添加服务向导06][06]

![添加服务向导07][07]

![添加服务向导08][08]

![添加服务向导09][09]

首次启动服务的时间比较长，大概二十分钟：

![添加服务向导10][10]

添加服务完成：

![添加服务向导11][11]

点击完成后，就进入了CM管理的首页了。

### 7、进入CM首页 ###

![cm hmoe page][]

## 三、小结 ##

本文描述的hadoop安装方式是一种离线方式，通过CM5加快了环境搭建的速度，CM5将hadoop集群管理的复杂度大大降低。后面在测试中学习hadoop集群的调优。

原创作品，转载请注明出处：[http://blog.csdn.net/yangzhaohui168/article/details/33403555][http_blog.csdn.net_yangzhaohui168_article_details_33403555]

[http_blog.csdn.net_yangzhaohui168_article_details_33403555]: http://blog.csdn.net/yangzhaohui168/article/details/33403555
[Yum_Cloudera Manager 5]: http://blog.csdn.net/yangzhaohui168/article/details/30118175
[view plain]: http://blog.csdn.net/yangzhaohui168/article/details/33403555#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/402534
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/402534/fork
[PostgreSQL]: http://jingyan.baidu.com/article/3ea51489ec3cb452e71bba52.html
[CM5]: /images/20220717/6de33aa1a0f3489c8e91fd6b18a84d49.png
[Cloudera Express]: /images/20220717/9ed8af8dc6c74b57993b1c0a228c5888.png
[SouthEast]: /images/20220717/c809e675300e48cc9e4756473deb2817.png
[CDH]: /images/20220717/88cce9ea42e442bfbb426778ec9fcd5c.png
[1]: /images/20220717/883ff9e6c9fe43e68882a83f7fd99a44.png
[2]: /images/20220717/47e8babd34514f768260aaf4e24db92f.png
[3]: /images/20220717/480a6c79f49948868bcc4e674fac4cac.png
[4]: /images/20220717/6b9c9403bd484856a69a104f589bba09.png
[5]: /images/20220717/9753f9afc16f44daa4f11990bb9399ca.png
[6]: /images/20220717/c3e36686cec640979ab8236a892385e7.png
[01]: /images/20220717/b9c9de734d9a4c438e836cc2800719f8.png
[02]: /images/20220717/3b19ef689cb14fb59f64b4235b8fe574.png
[03]: /images/20220717/581672e1382a4300a44eaf6b601eb202.png
[04]: /images/20220717/75e49bb371524dab929c8c6ed0b8acdb.png
[05]: /images/20220717/2b209743edc04b15bb8178f043c86e8c.png
[06]: /images/20220717/1132d0e31fab4c7f8a3be22364d9ede9.png
[07]: /images/20220717/26ab141441254f49a509899cc96f26b6.png
[08]: /images/20220717/a135ab6209c84b4198e650e3010a0bbb.png
[09]: /images/20220717/f727a15b4f984659afe4ca5fa0874713.png
[10]: /images/20220717/6eb461e6d2344938b74461956d0af8cc.png
[11]: /images/20220717/57a0e9ff40b546e5ab6c341bd2c084af.png
[cm hmoe page]: /images/20220717/e01e4d25984f4a53b60b4658812bf4b0.png