Livy的安装使用

╰+哭是因爲堅強的太久メ 2023-03-02 13:15 6阅读 0赞

# Livy介绍（apache 孵化项目） #

官网：[https://livy.incubator.apache.org/][https_livy.incubator.apache.org]

Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含:

1.  长时间运行的SparkContext,允许多个spark job和多个client使用。
2.  在多个spark job和客户端之间共享RDD和Dataframe
3.  多个sparkcontext可以简单的管理,并运行在集群中而不是Livy Server,以此获取更好的容错性和并行度。
4.  作业可以通过重新编译的jar、片段代码、或Java/Scala的客户端API提交。

Livy结合了spark job server和Zeppelin的优点,并解决了spark job server和Zeppelin的缺点。

1.  支持jar和snippet code
2.  支持SparkContext和Job的管理
3.  支持不同SparkContext运行在不同进程,同一个进程只能运行一个SparkContext
4.  支持Yarn cluster模式
5.  提供restful接口,暴露SparkContext

![format_png][]

# Livy安装 #

## 下载 ##

下载地址：[https://livy.incubator.apache.org/download/][https_livy.incubator.apache.org_download]

## 必要条件 ##

1.首先要安装Spark1.6+

2.Scala版本2.10和2.11版本+

## 配置环境变量 ##

vi .bash_profile
    
    export SPARK_HOME=/wangqingguo/bigdata/spark-2.4.6-bin-hadoop2.6
    export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    
    source .bash_profile

## livy.conf（进行一些配置,一般默认就好） ##

#默认使用hiveContext
    livy.repl.enableHiveContext = true
    #开启用户代理
    livy.impersonation.enabled = true
    #设置session空闲过期时间
    livy.server.session.timeout = 1h
    #yarn/local本地模式或者yarn模式
    livy.server.session.factory = yarn

## 运行Livy（[http://localhost:8998/][http_localhost_8998]） ##

bin/livy-server &

![format_png 1][]

启动成功：

![这里写图片描述][70]

# Livy使用 #

livy提供了不少的api，可以参考[官方文档][Link 1]

## 新建session ##

post http://localhost:8998/sessions

![这里写图片描述][70 1]

## 查看session状态 ##

get http://localhost:8998/sessions

![这里写图片描述][70 2]

## 提交代码片断 ##

post http://localhost:8998/sessions/0/statements

如果在同一个session，提交的代码片断是同享的，相当于你在同一个spark-shell里面进行操作

![这里写图片描述][70 3]

## 查看代码运行结果 ##

get http://localhost:8998/sessions/0/statements/0

![这里写图片描述][70 4]

## 杀掉session ##

delete http://localhost:8998/sessions/0

![这里写图片描述][70 5]

## 提交spark任务 ##

post http://localhost:8998/batches

![这里写图片描述][70 6]

## 查看spark任务结果 ##

get http://localhost:8998/batches

![这里写图片描述][70 7]

下面是刚才运行开始的session和提交的spark任务，在yarn任务列表中可以看到。

![这里写图片描述][70 8]

[https_livy.incubator.apache.org]: https://livy.incubator.apache.org/
[format_png]: /images/20230208/9b1d8eb8debf451692983b96e73be1fe.png
[https_livy.incubator.apache.org_download]: https://livy.incubator.apache.org/download/
[http_localhost_8998]: http://localhost:8998/
[format_png 1]: /images/20230208/89bd5296134e4a92af567965c2f5e7cd.png
[70]: /images/20230208/750d06a6f32d44989b507484e5b8d3a0.png
[Link 1]: http://livy.apache.org/docs/latest/rest-api.html
[70 1]: /images/20230208/b785e243e54f4511a9a2b4a29ca6a5ee.png
[70 2]: /images/20230208/7557a52a14704ef98ae620893b8e6240.png
[70 3]: /images/20230208/6fcf7346abbb4583b4134a7dc424368a.png
[70 4]: /images/20230208/6302792a9886426886e746322b790ce9.png
[70 5]: /images/20230208/a908a96518e74b0591e8cac200bdf319.png
[70 6]: /images/20230208/6ee30a1153f3429cbc7b16be6406f61e.png
[70 7]: /images/20230208/30a5d59430f14e35a5778b8dd2faa2e9.png
[70 8]: /images/20230208/93e35cdad65044c68feafce04f9f98ba.png