CentOS 7下Cloudera Manager及CDH 6.0.1安装教程

布满荆棘的人生 2023-02-14 15:39 9阅读 0赞

# 概念介绍 #

## CDH 概览 ##

CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

CDH 提供以下特性：

*  灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。
 *  集成：在一个完整的Hadoop平台上快速启动和运行，该平台与广泛的硬件和软件解决方案一起工作。
 *  安全：处理和控制敏感数据。
 *  可伸缩性：启用广泛的应用程序和规模，并扩展它们以满足您的需求。
 *  高可用性：满怀信心地执行任务关键的业务任务。
 *  兼容性：利用您现有的IT基础设施和投资。

CDH 组件如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70]

## Cloudera Manager 概览 ##

Cloudera Manager 是用于管理cdh集群的端到端应用程序。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性并对其进行控制来设置企业部署标准-授权运营商提高性能、提高服务质量、提高遵从性和降低管理成本。使用Cloudera Manager，您可以轻松地部署和集中操作完整的CDH堆栈和其他托管服务。应用程序自动化安装过程，将部署时间从数周减少到分钟；为您提供在集群范围内运行主机和服务的实时视图；提供一个单一的中央控制台来执行整个集群的配置更改；并集成各种报告和诊断工具，以帮助您进行操作。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 1]  
Cloudera Manager 的架构如上图所示（cs结构），主要由如下几部分组成：

*  **服务端/Server：**  
    Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。
 *  **代理/agent：**  
    安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。
 *  **数据库/Database：**  
    存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的 Cloudera 管理器服务和监视，后台程序使用不同的逻辑数据库。
 *  **Cloudera Repository：**  
    由cloudera manager 提供的软件分发库。
 *  **客户端/Clients：**  
    提供了一个与 Server 交互的接口。
    
        Cloudera Manager包括server端和agent；server端主要作用是监控集群分发配置集群等，agent端主管集群各节点。
          CDH是CM的安装包，本地或者云端，其中包括hadoop的生态系统需要的所有组件，通过Cloudera Manager统一管理和安装。
          CDH除了可以通过cm安装也可以通过yum,tar,rpm安装。

# 环境准备 #

下面的操作每个节点都需要。

## 软件版本选择 ##

<table> 
 <thead> 
  <tr> 
   <th>类目</th> 
   <th>版本</th> 
   <th>下载地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>操作系统</td> 
   <td>CentOS Linux release 7.5.1804 (Core)</td> 
   <td><a href="https://mirrors.aliyun.com/centos/7.5.1804/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso" rel="nofollow">使用阿里云镜像</a></td> 
  </tr> 
  <tr> 
   <td>数据库</td> 
   <td>MySQL 5.6.40</td> 
   <td><a href="https://downloads.mysql.com/archives/get/p/23/file/mysql-5.6.40-linux-glibc2.12-x86_64.tar.gz" rel="nofollow">MySQL官网下载</a></td> 
  </tr> 
  <tr> 
   <td>JDK</td> 
   <td>jdk-8u162-linux-x64.rpm</td> 
   <td><a href="https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html" rel="nofollow">Oracle 官网下载</a></td> 
  </tr> 
  <tr> 
   <td>Cloudera Manager</td> 
   <td>Cloudera Manager 6.0.1</td> 
   <td><a href="https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/cloudera-manager.repo" rel="nofollow">官方仓库</a></td> 
  </tr> 
  <tr> 
   <td>CDH</td> 
   <td>CDH 6.0.1</td> 
   <td><a href="https://archive.cloudera.com/cdh6/6.0.1/parcels/" rel="nofollow">使用parcels安装</a></td> 
  </tr> 
 </tbody> 
</table>

## 节点准备（四个节点） ##

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>IP</th> 
   <th>CM管理软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bd223</td> 
   <td>10.1.24.223</td> 
   <td>Cloudera Manager Agent</td> 
  </tr> 
  <tr> 
   <td>bd224</td> 
   <td>10.1.24.224</td> 
   <td>Cloudera Manager Server&amp;Agent ，MySQL</td> 
  </tr> 
  <tr> 
   <td>bd225</td> 
   <td>10.1.24.225</td> 
   <td>Cloudera Manager Agent</td> 
  </tr> 
  <tr> 
   <td>bd226</td> 
   <td>10.1.24.226</td> 
   <td>Cloudera Manager Agent</td> 
  </tr> 
 </tbody> 
</table>

## 配置主机名和hosts解析（所有节点） ##

编辑`/etc/hostname`，修改主机名，并使用命令`hostname`使其立刻生效。  
编辑`/etc/hosts`，增加如下内容，用来解析主机名映射。

10.1.24.223		bd223
    10.1.24.224		bd224
    10.1.24.225		bd225
    10.1.24.226		bd226

## 关闭防火墙 ##

因为我们是`CentOS 7`系统，所以使用如下命令关闭防火墙

systemctl stop firewalld.service
    systemctl disable firewalld.service

## 关闭SELinux ##

安全增强型 Linux（`Security-Enhanced Linux`）简称 `SELinux`，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。`SELinux`有两种模式：`0：permissive（宽容模式），1：enforcing（强制模式）`，可以通过`getenforce Permissive[Enforcing]`查看服务当前状态。  
首先需要将`SELinux`改为`disabled`，`vim /etc/selinux/config`然后修改 `SELINUX=disabled`。但这种方式只有关机重启的时候才有效。如果不方便重启机器的话，可以先通过命令`setenforce 0`将服务改为`permissive（宽容模式）`。

## 禁用Linux透明大页面压缩（THP）服务 ##

# 查看服务状态，输出 [always] madvise never 则表明服务开启， always madvise [never] 表明服务禁用
    cat /sys/kernel/mm/transparent_hugepage/defrag
    cat /sys/kernel/mm/transparent_hugepage/enabled
    # 关闭服务
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    # 还需要将禁用命令加入添加到开机启动命令
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    chmod +x /etc/rc.d/rc.local

## 优化swap分区的使用 ##

echo "vm.swappiness=0" >> /etc/sysctl.conf
    sysctl -p

## 禁用所有IPv6 ##

echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6
    echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf
    sysctl -p

## 配置server节点对其他节点的免密登录 ##

1.  配置登录免验证  
    `vim /etc/ssh/ssh_config`，修改`StrictHostKeyChecking ask`为`StrictHostKeyChecking no`。
2.  生成密钥和公钥

mkdir ~/.ssh
    cd ~/.ssh
    # 删除之前生成的密钥和公钥文件
    rm -rf id_rsa
    rm -rf id_rsa.pub
    # 生成密钥和公钥，一直回车到结束即可
    ssh-keygen -t rsa
    # 查看 ~/.ssh下生成 id_rsa id_rsa.pub
    ls ~/.ssh
    # 配置密码
    ssh-copy-id bd223~bd226 # 输入对应服务器的密码

## 配置ntp时钟同步 ##

1.  安装ntp服务，`yum install -y ntp`
2.  配置`server主服务器（bd224）`的`ntp.conf`

driftfile /var/lib/ntp/drift
    restrict 127.0.0.1
    restrict -6 ::1
    # 规定10.1.24.0网段服务器的一些权限
    restrict 10.1.24.0 mask 255.255.255.0 nomodify notrap
    server 115.28.122.198 prefer #alibaba
    server 120.25.108.11 #alibaba
    server 202.120.2.101 #上海交大
    server 210.72.145.44 # 中国国家受时中心
    server 202.112.10.36 # 1.cn.pool.ntp.org
    server 59.124.196.83 # 0.asia.pool.ntp.org
    restrict 115.28.122.198 nomodify notrap noquery
    restrict 120.25.108.11 nomodify notrap noquery
    restrict 202.120.2.101 nomodify notrap noquery
    restrict 210.72.145.44 nomodify notrap noquery
    restrict 202.112.10.36 nomodify notrap noquery
    restrict 59.124.196.83 nomodify notrap noquery
    server 127.127.1.0 # local clock
    # stratum是时间服务器的层次，设为0则为顶级，如果要向别的NTP服务器更新时间，就不要设为0
    fudge 127.127.1.0 stratum 7
    includefile /etc/ntp/crypto/pw
    keys /etc/ntp/keys
    tinker panic 600
    disable monitor

1.  配置其他服务器（`bd223、bd225、bd226`）的`ntp.conf`。

driftfile /var/lib/ntp/drift
    restrict 127.0.0.1
    restrict -6 ::1
    restrict 10.1.24.0 mask 255.255.255.0 nomodify notrap
    # 向bd224进行对时
    server bd224 prefer
    restrict bd224 nomodify notrap noquery
    server 127.127.1.0 # local clock
    fudge 127.127.1.0 stratum 8
    includefile /etc/ntp/crypto/pw
    keys /etc/ntp/keys
    tinker panic 0
    disable monitor

1.  启动ntp服务，`service ntpd start`
2.  查看时钟同步情况

ntpstat
    ntpq -p

1.  设置ntp服务开启自启，`chkconfig ntpd on`

## 安装RPC服务 ##

RPC服务，主要是在nfs共享（网络文件共享）时候负责通知客户端，服务器的端口号的。简单理解rpc就是一个中介服务。

1.  安装服务：`yum install -y rpcbind`
2.  修改配置文件：`vim /etc/systemd/system/sockets.target.wants/rpcbind.socket`，修改后的内容如下：

[Unit]
    Description=RPCbind Server Activation Socket
    
    [Socket]
    ListenStream=/var/run/rpcbind.sock
    ListenStream=0.0.0.0:111
    
    [Install]
    WantedBy=sockets.target

1.  启动并设置开机自启

systemctl daemon-reload
    systemctl start rpcbind.socket
    systemctl start rpcbind
    systemctl enable rpcbind.socket
    systemctl enable rpcbind

## 安装jdk1.8+ ##

这个网上教程很多，这里就不做过多赘述了。只要安装完成之后使用`java -version`查看是否安装成功即可。

## 安装MySQL ##

安装MySQL教程链接如下：[Linux安装mysql5.6.40][Linux_mysql5.6.40]

但是这里需要注意的是MySQL的配置问题。我搭建的时候，MySQL是用的之前搭建的双机热备的MySQL，所以配置还是沿用的之前的，启动`cloudera-scm-server`的时候一直不成功，后来修改了`/etc/my.cnf`之后，就可以了。所以特此贴一份成功的MySQL 的配置。

[mysqld]
    server_id=1
    expire_logs_days=2
    binlog_do_db=gp
    replicate-ignore-db=mysql,information_schema,performance_schema
    symbolic-links=0
    basedir=/usr/local/mysql/mysql-5.6.40-linux-glibc2.12-x86_64
    datadir=/home/mysql/data
    port=3306
    socket=/usr/local/mysql/mysql-5.6.40-linux-glibc2.12-x86_64/mysql.sock
    sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
    [client]
    socket=/usr/local/mysql/mysql-5.6.40-linux-glibc2.12-x86_64/mysql.sock

安装完成之后需要为`Cloudera`各软件创建数据库，`DML`语句如下：

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
    GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm'; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon'; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman'; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue'; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive'; CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry'; CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav'; CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms'; CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
    flush PRIVILEGES;

# 安装 CM 和 CDH #

## 安装配置 CM ##

# 安装deamon程序 【所有主机】
    yum install -y cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
    # 安装agent程序 【所有主机】
    yum install -y cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
    # 安装server程序 【管理主机bd224】
    yum install -y cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
    # 安装server程序 【使用MySQL可跳过--管理主机bd224】
    yum install -y cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm

## 修改配置文件 ##

1.  只有主节点bd224需要，无需修改，但是需要知道有这么个文件  
    `vim /etc/default/cloudera-scm-server`
2.  所有节点都需要，修改 `server_host=bd224`  
    `vim /etc/cloudera-scm-agent/config.ini`
3.  只有主节点bd224需要，修改数据库配置  
    `vim /etc/cloudera-scm-server/db.properties`  
    修改后的内容如下：

# The database type
    # Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
    com.cloudera.cmf.db.type=mysql
    
    # The database host
    # If a non standard port is needed, use 'hostname:port'
    com.cloudera.cmf.db.host=bd224
    
    # The database name
    com.cloudera.cmf.db.name=scm
    
    # The database user
    com.cloudera.cmf.db.user=scm
    
    # The database user's password
    com.cloudera.cmf.db.password=scm
    
    # The db setup type
    # After fresh install it is set to INIT
    # and will be changed post config.
    # If scm-server uses Embedded DB then it is set to EMBEDDED
    # If scm-server uses External DB then it is set to EXTERNAL
    com.cloudera.cmf.db.setupType=EXTERNAL

## 复制数据库驱动 ##

因为我们用的是MySQL数据库，所以只需要MySQL的驱动即可。  
通过`/etc/default/cloudera-scm-server`文件，可以看到数据库驱动需要放在`/usr/share/java/mysql-connector-java.jar`。

## 启动 ##

# 启动server进程（只有主节点bd224需要启动）
    systemctl start cloudera-scm-server
    # 启动agent进程
    systemctl start cloudera-scm-agent
    # 如果启动中用什么问题，可以查看日志
    tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
    tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

如果`server`启动失败，很有可能就是MySQL配置的问题，修改配置或者直接换个MySQL。  
启动完成之后server的日志显示了启动的监听端口`7180`。

# 初始化 Cloudera Manager #

浏览器打开`http://10.1.24.224:7180`，用户名和密码默认都是`admin`。

1.  继续。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 2]
2.  接受许可。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 3]
3.  我这里选择的是免费版，收费版请自行选择。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 4]

# 集群安装 #

安装的时候有两种选择。

1.  各节点的`agent`程序自己安装并启动（本文选择的方法），那么就可以跳过安装`agent`程序的步骤。
2.  各节点没有安装或启动`agent`程序，那么这时候就需要server来进行安装了。

## 已经安装和启动agent程序 ##

1.  继续。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 5]
2.  选择主机。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 6]
3.  选择存储库。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 7]
4.  安装 agents。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 8]
5.  安装选定的Parcel，之前我们已经下载好，并配置好放在的 CM Server 节点的`/opt/cloudera/parcel-repo`。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 9]
6.  检查主机正确性。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 10]

## 没有安装和启动agent程序 ##

1.  继续。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 5]
2.  指定要添加的节点。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 11]
3.  选择存储库，之前我们已经在 CM Server 节点配置好了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 12]

1.  不进行勾选，选择我们自己安装的 JDK。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 13]
2.  提供 SSH 登录凭据。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 14]

1.  安装 agents。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 8]
2.  安装选定的Parcel，之前我们已经下载好，并配置好放在的 CM Server 节点的`/opt/cloudera/parcel-repo`。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 9]
3.  检查主机正确性。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 10]

## 安装要点 ##

1.  `因为Parcel文件较大，且下载很慢，所以可以找到文件之后通过自己搭建nginx实现私服下载。`  
    首先将`CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel`、`CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha`、`CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.torrent` 、`manifest.json`这四个文件放到服务器的某个目录下。  
    然后搭建nginx，将目录映射出去，映射的地址为`http://10.1.24.134:38080/cdh`。  
    之后在`选择存储库`这一步，选择更多选项，将`https://archive.cloudera.com/cdh6/{latest_supported}/parcels/`修改为`http://10.1.24.134:38080/cdh`。如下图所示：  
    选择`更多选项`。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 15]  
    修改下载地址。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 16]
2.  如果安装`Parcel`一直失败，且`agent`日志一直报错`Error, CM server guid updated, expected XXXX, received XXXX`，那么很有可能是之前安装过`agent`，且安装文件没有删除干净。  
    解决办法：

rm -rf /var/lib/cloudera-scm-agent/cm_guid
    	service cloudera-scm-agent restart

# 集群设置 #

1.  选择要安装的服务，可以根据自己的需求进行软件安装。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 17]
2.  自定义角色分配。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 18]
3.  数据库设置。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 19]
4.  审核更改，如果有特定目录的设定或者参数的设定，可以在这里进行更正。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 20]
5.  首次运行。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 21]
6.  安装完成。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 22]

## 设置要点 ##

1.  如果`数据库设置`这一步`测试连接失败`并显示`没有驱动信息`的话，那么就需要在服务相应服务器的`/usr/share/java/mysql-connector-java.jar`放置驱动即可。  
    以下两个目录我暂时也没测试是否有用，特此记录一下。  
    **Hive** /opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hive/lib/mysql-connector-java-5.1.44-bin.jar  
    **Oozie** /var/lib/oozie/mysql-connector-java-5.1.44-bin.jar

至此就算所有步骤完成了。

# 完全卸载CDH #

**`删除的时候确定一下，各自服务器在这些目录下，是否有重要文件，慎重删除！都是血和泪的教训！`**

rm -rf /opt/dfs
    rm -rf /home/opt/dfs
    rm -rf /var/run/cloudera-scm-agent/process/*-hdfs-*
    
    
    rm -rf /var/log/cloudera*
    rm -rf /var/lib/cloudera*
    rm -rf /etc/spark
    rm -rf /etc/hadoop
    rm -rf /etc/hbase
    rm -rf /etc/hive
    
    rm -rf /tmp/.cloudera_health_monitoring_canary_files
    rm -rf /tmp/hbase-cloudera-scm
    rm -rf /etc/cloudera-scm-server
    rm -rf /etc/cloudera-scm-agent
    rm -rf /etc/systemd/system/multi-user.target.wants/cloudera-scm-server.service
    rm -rf /tmp/hsperfdata_cloudera-scm
    rm -rf /home/opt/*
    
    rm -rf /usr/bin/hbase*
    rm -rf /tmp/*hbase
    rm -rf /var/log/hbase
    rm -rf /var/lib/hbase
    rm -rf /var/lib/alternatives/hbase*
    rm -rf /etc/hbase*
    rm -rf /etc/alternatives/hbase*
    
    
    rm -rf /usr/bin/sqoop-create-hive-table
    rm -rf /usr/bin/hive
    rm -rf /usr/bin/hiveserver2
    rm -rf /tmp/hive
    rm -rf /tmp/hsperfdata_hive
    rm -rf /var/log/hive
    rm -rf /var/lib/hive
    rm -rf /var/lib/alternatives/*hive*
    rm -rf /etc/alternatives/*hive*
    rm -rf /etc/hive-webhcat
    rm -rf /etc/hive-hcatalog
    
    rm -rf /etc/alternatives/oozie
    rm -rf /var/lib/alternatives/oozie
    rm -rf /var/lib/oozie
    rm -rf /usr/bin/oozie
    
    rm -rf /usr/bin/yarn
    rm -rf /tmp/hadoop-yarn-nodemanager.pid
    rm -rf /tmp/hsperfdata_yarn
    rm -rf /var/log/hadoop-yarn
    rm -rf /var/lib/yarn-ce
    rm -rf /var/lib/hadoop-yarn
    rm -rf /var/lib/alternatives/yarn
    rm -rf /etc/alternatives/yarn
    
    
    rm -rf /etc/alternatives/*spark*
    rm -rf /var/lib/alternatives/*spark*
    rm -rf /usr/bin/*spark*
    rm -rf /var/lib/spark
    rm -rf /var/log/spark
    
    rm -rf /etc/alternatives/hadoop*
    rm -rf /etc/hadoop-*
    rm -rf /var/lib/alternatives/hadoop*
    rm -rf /var/lib/hadoop-*
    rm -rf /var/log/hadoop-*
    rm -rf /usr/bin/hadoop*
    rm -rf /tmp/hadoop-hdfs-datanode.pid
    
    rm -rf /etc/alternatives/zookeeper-*
    rm -rf /etc/zookeeper
    rm -rf /var/lib/alternatives/zookeeper-*
    rm -rf /var/lib/zookeeper
    rm -rf /var/log/zookeeper
    rm -rf /tmp/hsperfdata_zookeeper
    rm -rf /usr/bin/zookeeper-*
    
    rm -rf /sys/fs/cgroup/systemd/system.slice/run-cloudera
    
    rm -rf /run/cloudera-scm-agent

# 安装所需文件链接 #

链接： https://pan.baidu.com/s/1Z4CbfbY-Gqr-PbICrn7iQA  
提取码：yj0c

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200603153338632.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200603153609995.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[Linux_mysql5.6.40]: https://blog.csdn.net/qq_39800434/article/details/84982728
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020060317471688.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200603174733181.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200603174750821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200603174830667.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200605144532270.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200605144614149.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200603175122148.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200603175144256.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200603175232399.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/2020060317484630.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200603175038935.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200603175055904.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/2020060317510624.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200605144050739.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20200605144132672.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20200603180417216.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20200603180427205.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20200603180437347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20200603180457426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20200603180508167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/2020060318052059.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0,size_16,color_FFFFFF,t_70