[Hadoop] CentOS7源码编译部署Azkaban-3.58.0多Executor

谁践踏了优雅 2022-05-11 00:36 154阅读 0赞

**Azkaban3.0+版本提供了三种安装模式：**

*  单solo-server mode：单机模式，适合开发使用。使用内置的h2数据库，web server和executor server在同一个进程里；
 *  two server mode：双机模式，适合生产环境。使用主从的MySQL做元数据存储，web server和executor server在不同的进程中，更新和升级对用户的影响较小；
 *  multiple-executor mode：多executor模式，最严格的生产环境。使用主从的MySQL做元数据存储。理想情况下，web server和executor server在不同的主机上运行，以便升级维护不影响用户。这种模式为azkaban提供了高可用可扩展的功能。

**本文部署方式为：multiple-executor mode。**

**系统架构：**

<table>  &nbsp;  
 <thead> 
  <tr> 
   <th>IP ADDR</th> 
   <th>ROLE</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.1.8</td> 
   <td>azkaban-web-server</td> 
  </tr> 
  <tr> 
   <td>192.168.1.9</td> 
   <td>azkaban-exec-server</td> 
  </tr> 
  <tr> 
   <td>192.168.1.10</td> 
   <td>azkaban-exec-server</td> 
  </tr> 
  <tr> 
   <td>192.168.1.11</td> 
   <td>azkaban-exec-server</td> 
  </tr> 
 </tbody> 
</table>

不论使用哪种模式，为了避免开发中各种jar包不兼容的问题，最好下载源码编译后再安装。一般生产环境主机不联网，我们在指定的服务器上面完成源码编译，之后拷贝编译好的压缩包到生产服务器上面去完成安装。

# 1. 源码下载编译 #

下载源码

[root@hadoop01 software]# git clone https://github.com/azkaban/azkaban.git

编译源码

[root@hadoop01 software]# cd azkaban
    
    # 如果是要编译指定版本，就先切到指定分支号再编译
    # 创建对应版本的本地分支：git fetch origin 3.34.x:3.34.x
    # 切换到指定本地分支：git checkout 3.34.x
    # 如果使用master分支，使用的是最新的版本代码
    
    # 编译azkaban
    [hadoop@hadoop01 azkaban]$ ./gradlew distTar -x test

编译完成后得到下面的压缩包：

*  拷贝azkaban-web-server-xxx.tar.gz拷贝到web-server服务器上
 *  拷贝azkaban-exec-server-xxx.tar.gz到三台exec-server服务器上
 *  拷贝azkaban-db-xxx.tar.gz到已有的MySQL Server服务器上（初始化azkaban元数据库使用）

# 编译完成后在下面的路径下会产生几个编译好的压缩包
    [hadoop@hadoop01 azkaban]$ ls -ltr azkaban-db/build/distributions/
    total 4
    -rw-rw-r-- 1 hadoop hadoop 3954 Sep 19 17:30 azkaban-db-3.58.0-10-g609d4d8.tar.gz
    [hadoop@hadoop01 azkaban]$ ls -ltr azkaban-solo-server/build/distributions/
    total 23352
    -rw-rw-r-- 1 hadoop hadoop 23882594 Sep 19 17:31 azkaban-solo-server-3.58.0-10-g609d4d8.tar.gz
    [hadoop@hadoop01 azkaban]$ ls -ltr azkaban-web-server/build/distributions/
    total 19572
    -rw-rw-r-- 1 hadoop hadoop 20014662 Sep 19 17:31 azkaban-web-server-3.58.0-10-g609d4d8.tar.gz
    [hadoop@hadoop01 azkaban]$ ls -ltr azkaban-exec-server/build/distributions/
    total 15420
    -rw-rw-r-- 1 hadoop hadoop 15767251 Sep 19 17:31 azkaban-exec-server-3.58.0-10-g609d4d8.tar.gz
    [hadoop@hadoop01 azkaban]$ 
    
    # 同时编译好的还有一些azkaban的插件
    [root@hadoop01 azkaban]# ls -ltr az-hdfs-viewer/build/distributions/
    total 11136
    -rw-rw-r-- 1 hadoop hadoop 11386854 Sep 19 17:31 az-hdfs-viewer-3.58.0-10-g609d4d8.tar.gz
    [root@hadoop01 azkaban]# ls -ltr az-hadoop-jobtype-plugin/build/distributions/
    total 164
    -rw-rw-r-- 1 hadoop hadoop 162277 Sep 19 17:31 az-hadoop-jobtype-plugin-3.58.0-10-g609d4d8.tar.gz
    [root@hadoop01 azkaban]# 
    ...
    # 需要的话从指定文件夹下面拷贝插件压缩包去生产服务器上面安装

# 2.  初始化Azkaban数据库 #

Azkaban使用MySQL做元数据存储，去MySQL Server创建azkaban数据库，并且完成初始化。

## ##

## 2.1 修改MySQL配置 ##

# 修改MySQL配置文件
    [root@vm azkaban-db-3.34.1]# vi /etc/my.cnf
    在[mysqld]下添加
    max_allowed_packet=1024M
    
    # 重启MySQL
    [root@vm azkaban-db-3.34.1]# systemctl restart mysqld

## 2.2 初始化azkaban数据库 ##

创建azkaban数据库

mysql> CREATE DATABASE azkaban;
    mysql> GRANT SELECT,INSERT,UPDATE,DELETE on azkaban.* to azkaban@"%" identified by "azkaban";
    mysql> flush privileges;
    mysql> show grants for azkaban@'%';
    +----------------------------------------------------------------------+
    | Grants for azkaban@%                                                 |
    +----------------------------------------------------------------------+
    | GRANT USAGE ON *.* TO 'azkaban'@'%'                                  |
    | GRANT SELECT, INSERT, UPDATE, DELETE ON `azkaban`.* TO 'azkaban'@'%' |
    +----------------------------------------------------------------------+
    2 rows in set (0.00 sec)
    
    mysql>

解压编译好的azkaban-db-xxx.tar.gz包

[root@vm azkaban]# pwd
    /data/software/azkaban
    [root@vm azkaban]# tar -zxvf azkaban-db-3.58.0-10-g609d4d8.tar.gz

初始化azkaban数据库（创建相关表）

# 3. 安装azkaban的Web Server #

在web-server（192.168.1.8）上安装azkaban-web-server。

## 3.1 解压azkaban-web-server ##

[root@vm ~]# cd /data/software/azkaban/
    [root@vm azkaban]# mkdir /opt/azkaban
    [root@vm azkaban]# tar -zxvf azkaban-web-server-3.58.0-10-g609d4d8.tar.gz -C /opt/azkaban/
    [root@vm azkaban]# cd /opt/azkaban/
    [root@vm app]# mv azkaban-web-server-3.58.0-10-g609d4d8/ azkaban-web-server
    [root@vm azkaban]# cd azkaban-web-server/

## 3.2 拷贝mysql-connector ##

下载mysql-connector并拷贝到web-server的extlib文件夹下（extlib/不存在，需要创建）

[root@vm azkaban-web-server]# mkdir extlib
    [root@vm azkaban-web-server]# cp /data/software/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /opt/azkaban/azkaban-web-server/extlib/

## 3.3 生成ssl证书 ##

[root@vm azkaban-web-server]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
    Enter keystore password: azkaban
    Re-enter new password: azkaban
    What is your first and last name?
      [Unknown]:  
    What is the name of your organizational unit?
      [Unknown]:  
    What is the name of your organization?
      [Unknown]:  
    What is the name of your City or Locality?
      [Unknown]:  
    What is the name of your State or Province?
      [Unknown]:  
    What is the two-letter country code for this unit?
      [Unknown]:  
    Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown correct?
      [no]:  Y
    
    Enter key password for <jetty>
    	(RETURN if same as keystore password): azkaban 
    Re-enter new password: azkaban
    [root@vm azkaban-web-server]#

## 3.4 修改azkaban.properties ##

[root@vm azkaban-web-server]# vi conf/azkaban.properties 
    default.timezone.id=Asia/Shanghai
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.host=192.168.1.8
    
    # Azkaban Jetty server properties.
    # jetty.use.ssl=false
    jetty.use.ssl=true
    jetty.maxThreads=25
    jetty.ssl.port=8443
    jetty.port=8081
    jetty.keystore=keystore
    jetty.password=azkaban
    jetty.keypassword=azkaban
    jetty.truststore=keystore
    jetty.trustpassword=azkaban

# 4. 安装azkaban的Executor Server #

在三台azkaban-exec-server上安装azkaban的executor

## 4.1 解压azkaban-exec-server ##

[root@vm ~]# cd /data/software/azkaban/
    [root@vm azkaban]# tar -zxvf azkaban-exec-server-3.58.0-10-g609d4d8.tar.gz -C /opt/azkaban/
    [root@vm azkaban]# cd /opt/azkaban/
    [root@vm azkaban]# mv azkaban-exec-server-3.58.0-10-g609d4d8/ azkaban-exec-server
    [root@vm azkaban]# cd azkaban-exec-server/

## 4.2 拷贝mysql-connector ##

[root@vm azkaban-exec-server]# mkdir extlib
    [root@vm azkaban-exec-server]# cp /data/software/mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar extlib/

## 4.3 配置azkaban.properties ##

[root@vm azkaban-exec-server]# vi conf/azkaban.properties 
    default.timezone.id=Asia/Shanghai
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.host=192.168.1.8
    # Azkaban Executor settings
    # executor.host=192.168.1.9
    executor.port=12321

## 4.4 向azkaban数据库中插入executor节点 ##

在数据库中配置Multiple Executor模式，多个executor就写入多条记录

mysql> use azkaban;
    mysql> insert into executors (host,port,active) values ('192.168.1.9','12321',1);
    mysql> insert into executors (host,port,active) values ('192.168.1.10','12321',1);
    mysql> insert into executors (host,port,active) values ('192.168.1.11','12321',1);

至此，azkaban-web-server和azkaban-exec-server都已经安装完成。

# 5. 启动Azkaban #

Azkaban启动的顺序为，先启动executor，再启动web。否则web工程会因为找不到executor而启动失败。

# 5.1 启动executor servers #

去三台exec-server上依次启动三个executor

[root@vm ~]# cd /opt/azkaban/azkaban-exec-server/
    [root@g12-1 azkaban-exec-server]# bin/start-exec.sh

启动成功后jps可以查看到executor的进程。若启动不成功，可以在logs/下查看日志。

[root@vm azkaban-exec-server]# jps
    22479 AzkabanExecutorServer
    [root@vm azkaban-exec-server]#

## 5.2 启动web server ##

[root@vm azkaban-exec-server]# cd ../azkaban-web-server/
    [root@vm azkaban-web-server]# bin/start-web.sh

同样启动成功后也可以使用jps查看到web-server的进程

[root@vm azkaban-web-server]# jps
    22479 AzkabanExecutorServer
    23448 AzkabanWebServer
    [root@vm azkaban-web-server]#