HiveServer2负载均衡

Love The Way You Lie 2024-02-21 10:09 162阅读 0赞

有多个HiveServer2服务时，可以借助Zookeeper服务实现访问HiveServer2的负载均衡，将HiveServer2的压力分担到多个节点上去。本文详细介绍HiveServer2负载均衡的配置及使用方法，请根据EMR集群（普通集群和Kerberos集群）的实际情况进行选择。
在这里插入图片描述

hive.server2.support.dynamic.service.discovery
设置为ture

在zooperker要创建相应的zooKeeperNamespace并赋权

  1. create /hiveserver2 world:anyone:cdrwa

还有一些其他的配置参数：

  1. 编辑hive-site.xml
  3. <property>
  4.     <name>spark.deploy.recoveryMode</name>
  5.     <value>ZOOKEEPER</value>
  6.  </property-->
  7. <!--设置hiveserve支持动态-->
  9. <property>
  10.     <name>hive.server2.support.dynamic.service.discovery</name>
  11.     <value>true</value>
  12. </property>
  14. <!--设置hiveserver2的命名空间-->
  16. <property>
  17. <name>hive.server2.zookeeper.namespace</name>
  18. <value>hiveserver2_zk</value>
  19. </property>
  21. <!--设置zk集群的客户端地址-->
  22. <property>
  23. <name>hive.zookeeper.quorum</name>
  24. <value>node5:2181,node4:2181,node3:2181</value>
  25. </property>
  27. <!--指定zk的端口，这个是否可以去掉，因为上一步已经配置了端口，由于时间关系，我没有做测试，有兴趣可以测试一下-->
  28. <property>
  29. <name>hive.zookeeper.client.port</name>
  30. <value>2181</value>
  31. </property>
  33. <!--指定hive.server2.thrift.bind.host-->
  34. <property>
  35. <name>hive.server2.thrift.bind.host</name>
  36. <value>0.0.0.0</value>
  37. </property>
  38. <property>
  39. <name>hive.server2.thrift.port</name>
  40. <value>10000</value> //两个HiveServer2实例的端口号要一致
  41. </property>

重启hive服务

就可以去进行连接连接的测试
beeline -u ‘jdbc:hive2://master-1-1:2181,master-1-2:2181,master-1-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2’

发表评论

表情：
评论列表 （有 0 条评论，162人围观）

还没有评论，来说两句吧...

相关阅读

    相关 .Net微服务负载均衡2

    ![8c552560cf634148acba03c0eaad0ad4.webp][] API网关层是微服务架构中的一个重要组成部分。它是一个软件，可以作为反向代理，将客户端的

    蔚落蔚落/ 0 赞/ 238 阅读

    相关 apache2.2+tomcat实现负载均衡

    无论是分布式,数据缓存,还是负载均衡,无非就是改善网站的性能瓶颈,在网站源码不做优化的情况下,负载均衡可以说是最直接的手段了｡其实抛开这个名词,放开了说,就是希望用户能够分流,

    妖狐艹你老母妖狐艹你老母/ 0 赞/ 261 阅读