Centos 6.7最小版安装AzKaban

ゝ一纸荒年。 2022-02-05 00:29 233阅读 0赞

首先，是要安装git的已安装直接掉过本节(对于要编译安装的同学)：

**1、下载git源码包**

wget https://github.com/git/git/archive/v2.3.0.zip

之后，解压，进入解压目录。  
在进行下一步操作之前，要思考一个问题，系统安装过git没有，话说yum里面带的是1.7.0的，版本不太符合。  
首先

git --version

有1.7则remove 没有接着操作。  
开始编译–安装在/usr/local/git目录下

make prefix=/usr/local/git all
    
    make prefix=/usr/local/git install

然后报错。。

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker

没问题就继续，我是报错了，  
当时那个错误网友说是时间没同步于是

ntpdate -u 210.72.145.44
    
    我由于禁用了此服务，所以
    date -s “2019-05-03 22:36:34”

之后还是报错

usr/bin/perl Makefile.PL PREFIX='/usr/local/git' INSTALL_BASE='' --localedir='/usr/local/git/share/locale'
    
    Can't locate ExtUtils/MakeMaker.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at Makefile.PL line 3.
    
    BEGIN failed--compilation aborted at Makefile.PL line 3.

就是这么很多，只能卸载这个冲突的包，然后重新安装

yum install perl-ExtUtils-MakeMaker package

接着编译  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70]  
还报错，  
再来：

yum install gettext-devel

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 1]  
好像可以了，马上接着下一步安装

make prefix=/usr/local/git install

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 2]  
修改环境变量

export GIT_HOME=/usr/local/git
    export PATH=$PATH:$GIT_HOME/bin

验证成功。ok  
![在这里插入图片描述][2019050322484140.png]

**2、开始安装azkaban**  
从GitHub上下载azkaban源码包的，  
[比如这个3.44.tar.gz][3.44.tar.gz]  
网友也有直接git clone的据说编译过程会简单点，我是没用（主要是知道的晚）

解压，进入解压目录，之前是必须要有java环境的，我这边之前配置过，不再讲解。  
开始编译

./gradlew build

![在这里插入图片描述][2019050322563341.png]  
漫长的等待…  
。。。。

![在这里插入图片描述][20190503230548814.png]

…  
等会儿我再过来

不想编译的可以看一下这一位大佬写的-给的有编译过的文件  
[yannhuang–Azkaban源码编译过程][yannhuang_Azkaban]

过了这么久，原来出错了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 3]  
解决

yum install gcc-c++

还报错，那就在这条命令的后面加上忽略依赖的那句话（如果报错就会报多个glibc包冲突什么的，给出的解决方案有设置什么什么为false 就这句）

中间是有些波折。

如你所见，用虚拟机编译，网络，配置还是不够（看来不是的）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 4]  
jce的问题，安装jce（上面也报这个问题了，原来）  
[jdk1.8的][jdk1.8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 5]  
下载后的这个文件拷贝到jdk的 jre如图对应的目录下。

重新编译

./gradlew clean
    ./gradlew build

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 6]  
测试太慢了 还是配置带不动。  
跳过测试吧

./gradlew build installDist -x test

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 7]  
**3、开始整理azkaban安装包**  
然后新建一个azkaban的目录，把下面的压缩包拷贝过来。

cp azkaban-*/build/distributions/*.tar.gz

![在这里插入图片描述][20190504202134916.png]  
记得把这个sql文件也拷贝出来。待会要建立元数据库。  
![在azkaban-db的sql目录下][azkaban-db_sql]  
**4、azkaban元数据**  
接着，进入mysql命令行，创建azkban用户，修改访问权限，刷新配置。

mysql> CREATE DATABASE azkaban;
     mysql> CREATE USER 'azkaban' IDENTIFIED BY 'azkaban';
     mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban' WITH GRANT OPTION;
     mysql> flush privileges;

使用azkaban库，导入这个sql文件。  
嗯，报错了，超过限制，innodb限制1000字节，myisam也是767(mysql5.1报错，5.7不会报错)  
就是这个图  
![在这里插入图片描述][20190504202725323.png]  
网友说改数据库引擎，改字符集为u8？？？禁用innodb的large什么的什么的，反正我试过还是报错。所以按照配置hive元数据的方式配置了，字符集选了Latin1。

**5、配置web-server 的SSL**

> 解压web-server对应的tar包，并改名字。  
> 在该目录下执行下句代码，配置SSL

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

![在这里插入图片描述][20190504203756662.png]  
[龍尐–这里写的挺好—azkaban3.43.0安装教程（git编译版）][azkaban3.43.0_git]  
借龍尐的图如下，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 8]  
**配置azkaban-executor，目录结构如下图**  
![在这里插入图片描述][20190504205527510.png]  
plugins目录结构为

pligins/jobtypes/commonprivate.properties

![在这里插入图片描述][20190505134439497.png]  
没有的到azkaban-solo-server目录下拷贝，是在代码的resources里面。

目录对应的存储内容如下：  
[爱脚本网–Azkaban 3.X 安装 --写的不错][Azkaban 3.X _ --]  
![在这里插入图片描述][2019050421014528.png]  
修改azkaban.propertites文件 --（我这边配置ssl 所以需要配置这个keystore文件的为位置）

# Azkaban Personalization Settings
    default.timezone.id=Asia/Shanghai
    
    # Loader for projects
    executor.global.properties=/opt/app/azkaban-3.44/azkaban-exec-server/conf/global.properties
    
    azkaban.project.dir=projects
    
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    
    # Azkaban plugin settings
    #azkaban.jobtype.plugin.dir=plugins/jobtypes
    
    # Azkaban Executor settings
    executor.maxThreads=50
    executor.flow.threads=30
    
    #Azkaban Executor port
    executor.port=12321
    
    # Setting up the DB
    database.type=mysql
    mysql.port=3306
    mysql.host=192.168.91.163
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100

写的有点杂乱，推荐阅读这篇文章–[丹江湖畔养蜂子的赵大爹–azkaban编译安装配置文档][azkaban]

数据库插入如下数据

INSERT INTO executors(HOST,PORT,active) VALUES('192.168.91.163','12321','1');
    INSERT INTO executors(HOST,PORT,active) VALUES('192.168.91.164','12321','1');
    INSERT INTO executors(HOST,PORT,active) VALUES('192.168.91.165','12321','1');

接着修改azkaban-users.xml (可设置用户组和权限分配-此处未详细设计–还是推荐\[丹江湖畔养蜂子的赵大爹写的\])

<azkaban-users>
      <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
      <user password="metrics" roles="metrics" username="metrics"/>
      <user username="admin" password="admin" roles="admin,metrics" />
      <role name="admin" permissions="ADMIN"/>
      <role name="metrics" permissions="METRICS"/>
    </azkaban-users>

把conf、plugins目录 在复制到azkaban-web-server下，  
其中azkaban-web-server下的azkaban.properties为

# Azkaban Personalization Settings
    azkaban.name=Test
    azkaban.label=My Local Azkaban
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    # Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=/opt/app/azkaban-3.44/azkaban-exec-server/conf/azkaban-users.xml
    # Loader for projects
    executor.global.properties=/opt/app/azkaban-3.44/azkaban-exec-server/conf/global.properties
    azkaban.project.dir=projects
    #database.type=h2
    #h2.path=./h2
    #h2.create.tables=true
    database.type=mysql
    mysql.port=3306
    mysql.host=192.168.91.163
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100
    # Velocity dev mode
    velocity.dev.mode=false
    # Azkaban Jetty server properties.
    jetty.maxThreads=25
    jetty.ssl.port=8666
    jetty.port=8081
    jetty.keystore=/opt/app/azkaban-3.44/azkaban-web-server/keystore
    jetty.password=123456
    jetty.keypassword=123456
    jetty.truststore=/opt/app/azkaban-3.44/azkaban-web-server/keystore
    jetty.trustpassword=123456
    
    #jetty.use.ssl=false
    #jetty.maxThreads=25
    #jetty.port=8081
    # Azkaban Executor settings
    executor.port=12321
    # mail settings
    mail.sender=
    mail.host=
    mail.user=Notify emails of azkaban
    mail.password=
    # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
    # enduser -> myazkabanhost:443 -> proxy -> localhost:8081
    # when this parameters set then these parameters are used to generate email links.
    # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
    # azkaban.webserver.external_hostname=myazkabanhost.com
    # azkaban.webserver.external_ssl_port=443
    # azkaban.webserver.external_port=8081
    job.failure.email=odydata@163.com
    job.success.email=odydata@163.com
    lockdown.create.projects=false
    cache.directory=cache
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    # Azkaban plugin settings
    #azkaban.jobtype.plugin.dir=plugins/jobtypes

如果使用multiple-executor模式：需要额外配置如下：

# Multiple Executor use
    azkaban.use.multiple.executors=true
    # azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
    azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
    azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
    azkaban.executorselector.comparator.Memory=1
    azkaban.executorselector.comparator.LastDispatched=1
    azkaban.executorselector.comparator.CpuUsage=1

上面的MinimumFreeMemory为运行job的最低内存配置，默认6G，根据我这边的情况，去掉了-不然一直处于Preparing状态

可能这边改过了，还有一个一致处于starting状态的问题。  
like this 申请不到内存  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 9]  
设置azkaban-exec-server/plugins/commonprivate.properties中的  
web-server的也设置下，重启就?

memCheck.enabled=false

先启动azkaban-exec下的,在启动web下的

bin/start-exec.sh
    
    bin/start-web.sh

安装成功；  
访问：[https://192.168.91.163:8666][https_192.168.91.163_8666]  
注意开启ssl后必须使用https协议，谷歌会弹出警告忽略即可。  
登陆用户/密码输入：azkaban azkaban即可  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 10]  
测试成功  
![在这里插入图片描述][20190505134609202.png]

后续–[Fayson–如何在Azkaban安装插件(二)][Fayson_Azkaban]

参考文章：  
[wblinux–Linux中系统时间同步ntpdate–默认时区修改][wblinux_Linux_ntpdate]  
[https://blog.csdn.net/zbajie001/article/details/78782719][https_blog.csdn.net_zbajie001_article_details_78782719]  
[菜鸟进阶历程–Linux-git安装篇–以及编译安装失败处理][Linux-git]  
[Lucky\_shelly–linux安装git方法][Lucky_shelly_linux_git]  
[老\_张–环境部署（三）：Linux下安装Git][Linux_Git]  
[初级以上–Centos6.5将git 1.7.1升级到git 2.2.1][Centos6.5_git 1.7.1_git 2.2.1]  
[爱你爱自己–Git服务器安装详解及安装遇到问题解决方案][Git]  
[ssydxa219–Azkaban 3.0+ 安装][ssydxa219_Azkaban 3.0_]  
[Fayson–如何编译安装Azkaban服务][Fayson_Azkaban 1]  
[Fayson–如何在Azkaban安装插件(二)][Fayson_Azkaban]  
[超简单将Centos的yum源更换为国内的阿里云源][Centos_yum]  
[西瓜可乐520–yum 安装 出错 Error: Protected multilib versions:][520_yum _ _ Error_ Protected multilib versions]  
[lninic–Linux下Azkaban安装][lninic_Linux_Azkaban]  
[丹江湖畔养蜂子的赵大爹–azkaban编译安装配置文档][azkaban]  
[SHP–azkaban3.12 编译与安装][SHP_azkaban3.12]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70]: /images/20220205/43c07d0dd06b4ddc916054b4df7f7c01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 1]: /images/20220205/365c7f6f7e824ce886311cc7fb1cae2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 2]: /images/20220205/6cc965c94e5e4c9cb76220a76d7f7b12.png
[2019050322484140.png]: /images/20220205/ed482c7b529d435cb25d1e61405eca9d.png
[3.44.tar.gz]: https://github.com/azkaban/azkaban/archive/3.44.0.tar.gz
[2019050322563341.png]: /images/20220205/a5d894a6f3a741e28ec27ba9a9d83f85.png
[20190503230548814.png]: /images/20220205/881efef31d1d4d6f9d83e8aae3f24c5c.png
[yannhuang_Azkaban]: https://www.jianshu.com/p/1273ad1a83fa
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 3]: /images/20220205/a328cdf800c54ce7a356f0ec86e4e50c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 4]: /images/20220205/550eaf7731c44d74878426c40d65867e.png
[jdk1.8]: https://www.oracle.com/technetwork/cn/java/javase/downloads/jce8-download-2133166-zhs.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 5]: /images/20220205/6bf641102d354b20866e1463be32b1b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 6]: /images/20220205/e2fa3d4dd4d24b4e99079074693e7879.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 7]: /images/20220205/dcb8737917244b43a0d61f3ea6c88bb8.png
[20190504202134916.png]: /images/20220205/3d70f2f3cfed4af5866f1f023843583a.png
[azkaban-db_sql]: /images/20220205/37b31b2f6e78482c8cca38a8244989cf.png
[20190504202725323.png]: /images/20220205/15d8f45711c747129812e273d7e018cd.png
[20190504203756662.png]: /images/20220205/5735c69fa58541dca1ae2dd95ef131a2.png
[azkaban3.43.0_git]: https://blog.csdn.net/qq_37279279/article/details/81541869
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 8]: /images/20220205/cec6da05a99445289e016df1982ee8d4.png
[20190504205527510.png]: /images/20220205/64280d9486064322adbee1ecd8ee2538.png
[20190505134439497.png]: /images/20220205/aebc728e2b80474cb9a588b0aeaa4fd5.png
[Azkaban 3.X _ --]: http://www.echojb.com/mysql/2017/04/27/364405.html
[2019050421014528.png]: /images/20220205/a8b636550b52491f99d29c6325a8adb1.png
[azkaban]: https://www.cnblogs.com/honeybee/p/7592774.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 9]: /images/20220205/0e403d5b111b4efbb5ace182b9c788a6.png
[https_192.168.91.163_8666]: https://192.168.91.163:8666
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW94aW4xMDI0_size_16_color_FFFFFF_t_70 10]: /images/20220205/575a2e8b2c184fb787629e57c41f4b6e.png
[20190505134609202.png]: /images/20220205/93dbf068779a4290b557029ab1855362.png
[Fayson_Azkaban]: https://cloud.tencent.com/developer/article/1080604
[wblinux_Linux_ntpdate]: https://blog.csdn.net/wblinux/article/details/81981328
[https_blog.csdn.net_zbajie001_article_details_78782719]: https://blog.csdn.net/zbajie001/article/details/78782719
[Linux-git]: https://www.cnblogs.com/jinjiezhilu/p/7866035.html
[Lucky_shelly_linux_git]: https://www.cnblogs.com/shelly01-zhou/p/7736610.html
[Linux_Git]: https://www.cnblogs.com/imyalost/p/8715688.html
[Centos6.5_git 1.7.1_git 2.2.1]: https://blog.csdn.net/Veechange/article/details/53943871
[Git]: https://www.cnblogs.com/grimm/p/5368777.html
[ssydxa219_Azkaban 3.0_]: https://ssydxa219.iteye.com/blog/2425996
[Fayson_Azkaban 1]: https://cloud.tencent.com/developer/article/1079131
[Centos_yum]: https://blog.csdn.net/weicaijiang/article/details/78699206
[520_yum _ _ Error_ Protected multilib versions]: https://blog.csdn.net/hainandao710/article/details/44461191
[lninic_Linux_Azkaban]: https://yq.aliyun.com/articles/648399
[SHP_azkaban3.12]: https://blog.csdn.net/shp5174/article/details/55259064