Spark入门（七）Spark SQL thriftserver/beeline启动方式

小咪咪 2023-07-03 02:52 106阅读 0赞

### 一、启动thrift服务 ###

启动thriftServer，默认端口为10000,。

\--jars 添加worker类库

\--driver-class-path 驱动类库

\--master spark集群地址

\--total-executor-cores  启动的核数，默认是所有核数

\--executor-memory  每个work分配的内存，默认是work的所有内存

\--hiveconf hive.server2.thrift.port 启动端口

spark-2.4.4/sbin/start-thriftserver.sh --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077  --driver-class-path /home/mk/mysql-connector-java-5.1.26-bin.jar  --jars /home/mk/mysql-connector-java-5.1.26-bin.jar  --total-executor-cores 2  --executor-memory 1g
    
    netstat -nap | grep  10000

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70][]

### 二、启动beeline ###

spark-2.4.4/bin/beeline
    
    #连接
    !connect jdbc:hive2://hadoop01:10000
    
    show tables;
    
    select * from test;
    
    #退出
    !quit

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1][]

![20200131213711227.png][]

### 三、总结 ###

thriftserver/beeline和普通的spark-shell/spark-sql区别

**（1）对于derby存储元数据**  
1、spark-shell、spark-sql是启动一个spark application，只能服务于唯一的客户端，同一路径启动多客户端会报错；  
2、thriftservers是启动一个spark application提供接口服务，为多客户端进行服务。解决了数据共享的问题，多个客户端可以共享数据问题；

**（2）对于其他非本地的数据库存储元数据**

1、spark-shell、spark-sql是启动一个spark application，服务于一个的客户端。可以启动多个spark-shell、spark-sql，客户端之间的操作互相不干扰。  
2、thriftservers是启动一个spark application提供接口服务，为多客户端进行服务。如有客户端的操作过多，会干扰到其他客户端的进一步操作。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200131213020366.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200131213315584.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9tYW9rdW4uYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70
[20200131213711227.png]: https://img-blog.csdnimg.cn/20200131213711227.png