Livy的安装使用

╰+哭是因爲堅強的太久メ 2023-03-02 13:15 93阅读 0赞

Livy介绍（apache 孵化项目）

官网：https://livy.incubator.apache.org/

Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含:

  1. 长时间运行的SparkContext,允许多个spark job和多个client使用。
  2. 在多个spark job和客户端之间共享RDD和Dataframe
  3. 多个sparkcontext可以简单的管理,并运行在集群中而不是Livy Server,以此获取更好的容错性和并行度。
  4. 作业可以通过重新编译的jar、片段代码、或Java/Scala的客户端API提交。

Livy结合了spark job server和Zeppelin的优点,并解决了spark job server和Zeppelin的缺点。

  1. 支持jar和snippet code
  2. 支持SparkContext和Job的管理
  3. 支持不同SparkContext运行在不同进程,同一个进程只能运行一个SparkContext
  4. 支持Yarn cluster模式
  5. 提供restful接口,暴露SparkContext

format_png

Livy安装

下载

下载地址：https://livy.incubator.apache.org/download/

必要条件

1.首先要安装Spark1.6+

2.Scala版本2.10和2.11版本+

配置环境变量

  1. vi .bash_profile
  3. export SPARK_HOME=/wangqingguo/bigdata/spark-2.4.6-bin-hadoop2.6
  4. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
  6. source .bash_profile

livy.conf（进行一些配置,一般默认就好）

  1. #默认使用hiveContext
  2. livy.repl.enableHiveContext = true
  3. #开启用户代理
  4. livy.impersonation.enabled = true
  5. #设置session空闲过期时间
  6. livy.server.session.timeout = 1h
  7. #yarn/local本地模式或者yarn模式
  8. livy.server.session.factory = yarn

运行Livy（http://localhost:8998/）

  1. bin/livy-server &

format_png 1

启动成功：

这里写图片描述

Livy使用

livy提供了不少的api，可以参考官方文档

新建session

  1. post http://localhost:8998/sessions

这里写图片描述

查看session状态

  1. get http://localhost:8998/sessions

这里写图片描述

提交代码片断

  1. post http://localhost:8998/sessions/0/statements

如果在同一个session，提交的代码片断是同享的，相当于你在同一个spark-shell里面进行操作

这里写图片描述

查看代码运行结果

  1. get http://localhost:8998/sessions/0/statements/0

这里写图片描述

杀掉session

  1. delete http://localhost:8998/sessions/0

这里写图片描述

提交spark任务

  1. post http://localhost:8998/batches

这里写图片描述

查看spark任务结果

  1. get http://localhost:8998/batches

这里写图片描述

下面是刚才运行开始的session和提交的spark任务，在yarn任务列表中可以看到。

这里写图片描述

发表评论

表情：
评论列表 （有 0 条评论，93人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Nutch的安装使用

     Nutch的版本是1.1，需要jdk支持，Nutch0.9版本以上的需要jdk1.5以上。安装tomcat，要求tomcat5以上。如果是Windows系统，需安装cygwi

    怼烎@怼烎@/ 0 赞/ 350 阅读

    相关 easygui的安装使用

    使用pip安装各种出问题，即是安装成功，使用起来各种找不到包。 索性直接copy的easygui的文件包到开发文件中，直接使用。 资源在我的上一篇博客中。免费下载解压将ea

    红太狼红太狼/ 0 赞/ 315 阅读

    相关 sqoop的安装使用

    \[b\]\[color=olive\]\[size=large\]散仙，在上篇文章中，简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用s

    傷城~傷城~/ 0 赞/ 256 阅读