使用azkaban调度spark任务

水深无声 2023-10-03 15:39 14阅读 0赞

> 这篇文章主要向大家介绍使用azkaban调度spark任务,主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。
> 
> Azkaban是一种相似于Oozie的工作流控制引擎，能够用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。
> 
> 也能够用其代替cron来对周期性任务进行调度，而且更为直观，可靠，同时提供了美观的可视化管理界面。
> 
> 下文将对azkaban对spark离线任务调度进行简要说明。

### 一. 简介 ###

该部份内容可参考官方文档：http://azkaban.github.io/azkaban/docs/latest/\#overviewgithub

azkaban由三部分构成：

*  Relational Database(Mysql)
 *  Azkaban Web Server
 *  Azkaban Executor Server

[![这里写图片描述][e51b069bc6c4692b6c758fd29e2baeb5.png]][e51b069bc6c4692b6c758fd29e2baeb5.png 1]

#### Relational Database(Mysql) ####

azkaban将大多数状态信息都存于Mysql中,Azkaban Web Server 和 Azkaban Executor Server也需要访问DB。

#### Azkaban Web Server ####

提供了Web UI，是azkaband的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。

#### Azkaban Executor Server ####

调度工作流和任务，记录工作流任务的日志，因此将AzkabanWebServer和AzkabanExecutorServer分开，主要是由于在某个任务流失败后，能够更方便的将重新执行。并且也更有利于Azkaban系统的升级。

#### 可调度任务类型 ####

*  linux命令
 *  脚本
 *  java程序
 *  hadoop MR
 *  spark
 *  flink
 *  hive

#### 建立工做 ####

1.  建立工做任务  
    建立.job为后缀的文件，type是工做任务类型执行会输出 Hello World
    
        vim hello.job
        type=command
        command=echo "Hello World"
2.  建立工作流  
    两个工做任务，经过dependencies进行关联
    
        vim foo.job
        type=command
        command=echo foo
        
        vim bar.job
        type=command
        dependencies=foo
        command=echo bar
    
    工作流如下:  
    将会先调用foo再调用bar。
    
    [![这里写图片描述][52adb6af9f8e771ba69c972a48df9f6d.png]][52adb6af9f8e771ba69c972a48df9f6d.png 1]

### 二. 调度Spark任务Demo ###

建立一个新的project

[![建立新工程][122bd9d51ea862c996f1fa3c43d8c8cd.png]][122bd9d51ea862c996f1fa3c43d8c8cd.png 1]

**编写代码** 写一段简单的Spark代码，将程序打包

package com.zxl
    import org.apache.spark.{
        SparkConf, SparkContext}
    
    object AzkabanTest extends App{
        
      val conf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("azkabanTest")
      val sc = new SparkContext(conf)
    
      val data = sc.parallelize(1 to 10)
      data.map{
        _ * 2}.foreach(println)
    }

编写调度命令

vim test.job
    type=command
    command=/usr/install/spark/bin/spark-submit --class com.zxl.AzkabanTest test-1.0-SNAPSHOT.jar

将这两个文件以zip的形式打包在一块儿

zip -r xxx.zip azkabanTest

**上传工程**

目前azkaban只支持zip包，其中要包括.job文件以及一些需要的工程和文件。

[![这里写图片描述][7908aa9dd599a23e0378af6f2fc98136.png]][7908aa9dd599a23e0378af6f2fc98136.png 1]  
[![这里写图片描述][bebdef943f7114ec0d0edc6b403afd93.png]][bebdef943f7114ec0d0edc6b403afd93.png 1]

**设置离线任务执行周期**

若是需要的话能够设置离线任务的执行周期（相似于cron的功能）

[![这里写图片描述][26a60797b254fc132d5917beae20f1a9.png]][26a60797b254fc132d5917beae20f1a9.png 1]

**任务通知**

能够设置任务完成或失败进行邮箱通知等操作。

[![这里写图片描述][9ff5f0c9b8cbb19f5038a96172184c97.png]][9ff5f0c9b8cbb19f5038a96172184c97.png 1]

**一些界面**

主界面

[![这里写图片描述][9da44a18483af68e10cd244da988ac9e.png]][9da44a18483af68e10cd244da988ac9e.png 1]

任务完成状况

[![这里写图片描述][371eb9829f356ccd67a9ea6241210dbc.png]][371eb9829f356ccd67a9ea6241210dbc.png 1]

任务log详情

[![这里写图片描述][329d940b9ff0639ad9f5f3cbb8183bf6.png]][329d940b9ff0639ad9f5f3cbb8183bf6.png 1]

定时任务调用状况图

[![这里写图片描述][7cc089d3982120136e65e2e146520c63.png]][7cc089d3982120136e65e2e146520c63.png 1]

[e51b069bc6c4692b6c758fd29e2baeb5.png]: https://img-blog.csdnimg.cn/img_convert/e51b069bc6c4692b6c758fd29e2baeb5.png
[e51b069bc6c4692b6c758fd29e2baeb5.png 1]: https://img-blog.csdn.net/20160308213952634
[52adb6af9f8e771ba69c972a48df9f6d.png]: https://img-blog.csdnimg.cn/img_convert/52adb6af9f8e771ba69c972a48df9f6d.png
[52adb6af9f8e771ba69c972a48df9f6d.png 1]: https://img-blog.csdn.net/20160308221224209
[122bd9d51ea862c996f1fa3c43d8c8cd.png]: https://img-blog.csdnimg.cn/img_convert/122bd9d51ea862c996f1fa3c43d8c8cd.png
[122bd9d51ea862c996f1fa3c43d8c8cd.png 1]: https://img-blog.csdn.net/20160308214040491
[7908aa9dd599a23e0378af6f2fc98136.png]: https://img-blog.csdnimg.cn/img_convert/7908aa9dd599a23e0378af6f2fc98136.png
[7908aa9dd599a23e0378af6f2fc98136.png 1]: https://img-blog.csdn.net/20160308214241713
[bebdef943f7114ec0d0edc6b403afd93.png]: https://img-blog.csdnimg.cn/img_convert/bebdef943f7114ec0d0edc6b403afd93.png
[bebdef943f7114ec0d0edc6b403afd93.png 1]: https://img-blog.csdn.net/20160308214310557
[26a60797b254fc132d5917beae20f1a9.png]: https://img-blog.csdnimg.cn/img_convert/26a60797b254fc132d5917beae20f1a9.png
[26a60797b254fc132d5917beae20f1a9.png 1]: https://img-blog.csdn.net/20160308214353246
[9ff5f0c9b8cbb19f5038a96172184c97.png]: https://img-blog.csdnimg.cn/img_convert/9ff5f0c9b8cbb19f5038a96172184c97.png
[9ff5f0c9b8cbb19f5038a96172184c97.png 1]: https://img-blog.csdn.net/20160308214733282
[9da44a18483af68e10cd244da988ac9e.png]: https://img-blog.csdnimg.cn/img_convert/9da44a18483af68e10cd244da988ac9e.png
[9da44a18483af68e10cd244da988ac9e.png 1]: https://img-blog.csdn.net/20160308222312437
[371eb9829f356ccd67a9ea6241210dbc.png]: https://img-blog.csdnimg.cn/img_convert/371eb9829f356ccd67a9ea6241210dbc.png
[371eb9829f356ccd67a9ea6241210dbc.png 1]: https://img-blog.csdn.net/20160308215430655
[329d940b9ff0639ad9f5f3cbb8183bf6.png]: https://img-blog.csdnimg.cn/img_convert/329d940b9ff0639ad9f5f3cbb8183bf6.png
[329d940b9ff0639ad9f5f3cbb8183bf6.png 1]: https://img-blog.csdn.net/20160308215409186
[7cc089d3982120136e65e2e146520c63.png]: https://img-blog.csdnimg.cn/img_convert/7cc089d3982120136e65e2e146520c63.png
[7cc089d3982120136e65e2e146520c63.png 1]: https://img-blog.csdn.net/20160311172329052