大数据技术之Cloudera Manager安装
第1章 Cloudera** Manager **
1.1** cloudera manager**的概念
简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
1.2** cloudera manager**的功能
1) 管理：对集群进行管理，如添加、删除节点等操作。
2) 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
3) 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
4) 集成：多组件进行整合。
1.3** cloudera manager**的架构
1) Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。
2) Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。
3) Management Service：由一组执行各种监控，警报和报告功能角色的服务。
4) Database：存储配置和监视信息。
5) Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）
6) Clients：是用于与服务器进行交互的接口（API和Admin Console）
第2章 环境要求
1.**1 内存分配**
将3台虚拟机分配好内存
1.2** JDK**
安装JDK配置环境变量
1.**3 安装配置**mysql
在cdh1上安装mysql，配置相应的用户权限。
1.4** 关闭SELINUX**
1) 临时关闭：
setenforce 0
2) 修改配置文件/etc/selinux/config（重启生效）
将SELINUX=enforcing 改为SELINUX=disabled
1.5** **ssh免密登录
将cdh1，cdh2，cdh3相互之间配置免密登陆。
1.6** **下载第三方依赖
在三台节点（所有agent的节点）上执行下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
1**.7 创建CM用的数据库：**
（1）集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（2）hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（3）oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
（4）hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
第3章 **CM**安装部署
CM下载地址：http://archive.cloudera.com/cm5/cm/5/
离线库下载地址：http://archive.cloudera.com/cdh5/parcels
注：以下所有操作均使用root用户
2.1 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
[root@cdh1 module]# mkdir /opt/module/cloudera-manager
[root@cdh1 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/
2.2** 创建用户cloudera-scm（所有节点）**
[root@cdh1 cloudera-scm-server]# useradd —system —home=/opt/module/cloudera-manager/cm-5.4.3/run/cloudera-scm-server —no-create-home —shell=/bin/false —comment “Cloudera SCM User” cloudera-scm
--system 创建一个系统账户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
注意：
Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。
2.3** 配置CM Agent**
修改文件/opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/ config.ini
[root@cdh1 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini
server_host=cdh1
2.4** **配置CM的数据库
- 拷贝mysql jar文件到目录 /usr/share/java/
[root@cdh1 share]# mkdir /usr/share/java/
[root@cdh1 cm-5.4.3]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@cdh1 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
• 注意jar包名称要修改为mysql-connector-java.jar
- 在mysql中创建cm库
[root@cdh1 cm-5.4.3]# /opt/module/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh1 -uroot -p00000000 —scm-host cdh1 scm scm scm
-h：Database host
-u：Database username
-p：Database Password
--scm-host：SCM server’s hostname
2**.5 分发cloudera-manage**r
[root@cdh1 module]# scp -r /opt/module/cloudera-manager/ cdh2:/opt/module/
[root@cdh1 module]# scp -r /opt/module/cloudera-manager/ cdh3:/opt/module/
2.6** 创建Parcel-repo 目录**
- Servre 节点创建目录/opt/cloudera/parcel-repo
[root@cdh1 module]# mkdir -p /opt/cloudera/parcel-repo
[root@cdh1 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2.拷贝下载文件到/opt/cloudera/parcel-repo
（1）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
（2）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1:需改名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
（3）manifest.json
[root@cdh1 cm-5.4.3]# mv /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
[root@cdh1 module]# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@cdh1 module]# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel /opt/cloudera/parcel-repo/
[root@cdh1 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/
3.在Agent 节点（cdh1，cdh2，cdh3）创建目录/opt/cloudera/parcels
[root@cdh1 module]# mkdir -p /opt/cloudera/parcels
[root@cdh1 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@cdh2 module]# mkdir -p /opt/cloudera/parcels
[root@cdh2 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@cdh3 module]# mkdir -p /opt/cloudera/parcels
[root@cdh3 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
2.7分发**Parcel**-repo
[root@cdh1 opt]# scp -r /opt/cloudera/ cdh2:/opt/
[root@cdh1 opt]# scp -r /opt/cloudera/ cdh3:/opt/
2.**8 启动和关闭**CM Server&Agent 服务
服务节点：cdh1
[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [确定]
工作节点：cdh1\cdh2\cdh3
[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]
[root@cdh2 module]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]
[root@cdh3 module]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]
注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。
[root@cdh1 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用则表示安装成功了！！！
访问http://cdh1:7180，（用户名、密码：admin）
关闭：
服务节点：cdh1
[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server： [确定]
工作节点：cdh1\cdh2\cdh3
[root@cdh1 init.d]# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]
第4章 **常见错误问题：**
1.1 如果agent启动失败，去哪看错误
[root@cdh1 cloudera-scm-agent]
/opt/module/cloudera-manager/cm-5.4.3/log/cloudera-scm-agent里的
cloudera-scm-agent.out
╰+攻爆jí腚メ
不念不忘少年蓝@
ゞ 浴缸里的玫瑰
谁借莪１个温暖的怀抱￠
你的名字
还没有评论，来说两句吧...