Jdbc访问hive

痛定思痛。 2023-02-19 12:26 4阅读 0赞

# JDBC访问注意点 #

如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是**版本导致**的）

##### 1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上 #####

##### 2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下版本使其和服务器一致 #####

# 1、hiveserver、hiveserver2 的区别 #

两者都允许远程客户端使用多种编程语言，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作  
HiveServer或者HiveServer2都是基于Thrift的，HiveServer不能处理多于一个客户端的并发请求，HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供更好的支持。

Hiveserver1 和hiveserver2的JDBC区别： 
           HiveServer version               Connection URL                    Driver Class 
    
           HiveServer2                          jdbc:hive2://:                          org.apache.hive.jdbc.HiveDriver
           HiveServer1                          jdbc:hive://:                            org.apache.hadoop.hive.jdbc.HiveDriver

##### 目前都是使用用HiveServer2 #####

默认端口是10000

# 2、代码相关 #

### 前提： ###

使用JDBC访问的前提是hiveserver2服务已经开启，在访问之前可以使用jdbc的URL在服务器的beeline上试着连接一下连接成功证明URL是没有问题的。

JDBC 访问hive分为两种方式普通访问以及kerberos认证的访问，一下做出说明

##### 1、普通访问 #####

直接上相关代码  
相关代码

private static String driverName = "org.apache.hive.jdbc.HiveDriver";
        private static String CONNECTION_URL = "jdbc:hive2://****:10000/hive";
    
        public static void main(String[] args) throws SQLException, IOException, InterruptedException {
    
            try {
                Class.forName(driverName);
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
                System.exit(1);
            }
    
            Connection connection = DriverManager.getConnection(CONNECTION_URL, "hadoop", "");
    
            ResultSet resultSet = connection.prepareStatement("select * from vbapffba9dca5df44dc088cc151ee4e69f91_7 limit 10").executeQuery();
            while (resultSet.next()) {
                String str = resultSet.getString(1);
                System.out.println(str);
            }
            connection.close();
        }

##### 2、kerberos认证访问hive #####

直接上相关代码  
相关代码

private static String driverName = "org.apache.hive.jdbc.HiveDriver";
        private static String CONNECTION_URL ="jdbc:hive2://****:10001/devtest;principal=hs2/hadooptd3.novalocal@DEVTEST.BONC;auth=kerberos";
    
        public static void main(String[] args) throws SQLException, IOException, InterruptedException {
    
            try {
                Class.forName(driverName);
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
                System.exit(1);
            }
    
            //这里注意  这里的路径不能是相对路径，一定要是绝对路径，不然报Can't get Kerberos realm的错误
            //这一行也必须要加上
            System.setProperty("java.security.krb5.conf", "E:\\study_workSpace\\ceshi\\src\\main\\resources\\ceshi\\krb5.conf");
            //这一行在调测krb5的时候可以加上
            //        System.setProperty("sun.security.krb5.debug", "true");
            Configuration configuration = new Configuration();
            configuration.addResource(new Path("ceshi/core-site.xml"));
            configuration.addResource(new Path("ceshi/hdfs-site.xml"));
            configuration.set("hadoop.security.authentication", "Kerberos");
            UserGroupInformation.setConfiguration(configuration);
            //这里keytab也是需要用绝对路径的
            UserGroupInformation  UGI = UserGroupInformation.loginUserFromKeytabAndReturnUGI("test001@DEVTEST.BONC", "E:\\study_workSpace\\ceshi\\src\\main\\resources\\ceshi\\test001.ketab");
    
            Connection connection = UGI.doAs(new PrivilegedAction<Connection>() {
                @Override
                public Connection run() {
                    try {
                        Connection connection = DriverManager.getConnection(CONNECTION_URL,"hadoop","");
                        return connection;
                    } catch (Exception e) {
                    }
                    return null;
                }
            });
    
            ResultSet resultSet = connection.prepareStatement("select * from vbapfea10b1fcfc8067ebc69ec0d limit 10").executeQuery();
            while (resultSet.next()){
                String str = resultSet.getString(1);
                System.out.println(str);
            }
    
            connection.close();
        }

# 3、bug #

##### 1、 #####

java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): 
    User root is not allowed to impersonate anonymous 错误。

解决：  
修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项

<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

参考资料://https://blog.csdn.net/zengmingen/article/details/78607795

##### 2、 #####

org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{use:database=default})
            at org.apache.thrift.TApplicationException.read(TApplicationException.java:111)
            at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:71)
            at org.apache.hive.service.cli.thrift.TCLIService$Client.recv_OpenSession(TCLIService.java:156)
            at org.apache.hive.service.cli.thrift.TCLIService$Client.OpenSession(TCLIService.java:143)
            at org.apache.hive.jdbc.HiveConnection.openSession(HiveConnection.java:583)
            at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:192)
            at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
            at java.sql.DriverManager.getConnection(DriverManager.java:571)
            at java.sql.DriverManager.getConnection(DriverManager.java:215)
            at HiveJdbcJobTest.main(HiveJdbcJobTest.java:28)

原因：hive的版本不对，将hive的版本换成hive安装的版本即可

##### 3、 #####

java jdbc连接hive spark thriftserver异常HiveException: Unable to move source

java.sql.SQLException: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source hdfs://master:9000/user/hive/warehouse/datacenter.db/test/.hive-staging_hive_2019-01-21_09-30-22_299_3322687924153036286-9/-ext-10000/part-00000-82fd3ed3-2734-4044-a779-9405d97caeaa-c000 to destination hdfs://master:9000/user/hive/warehouse/datacenter.db/test/part-00000-82fd3ed3-2734-4044-a779-9405d97caeaa-c000;
    at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:296)
    at org.apache.hive.jdbc.HiveStatement.executeUpdate(HiveStatement.java:406)
    at net.itxw.example.HiveTest.run(HiveTest.java:24)
    at net.itxw.example.HiveTest.main(HiveTest.java:47)

解决办法：  
spark/conf/hive-site.xml添加配置：

<property>
          <name>fs.hdfs.impl.disable.cache</name>
          <value>true</value>
      </property>

原因:spark和hdfs使用的是同样一个底层实现的api。执行完一次数据插入，jdbc connection.close()关闭连接，也把hdfs的Filesystem连接关了。此时一道直接把thriftserver的hdfs Filesystem连接也关了，那也就是为什么我启动thriftserver第一次能插入成功，而第二次thriftserver的日志就报错Filesystem closed，Filesystem 已经关闭了。  
\#\#\#\#\#\#4、Unable to read HiveServer2 uri from ZooKeeper

Caused by: java.sql.SQLException: Could not open client transport for any of the Server URI's in ZooKeeper: Unable to read HiveServer2 uri from ZooKeeper

这种报错的前提是由于 使用的jdbcURL是有zookeeper访问的这种形式，样例如下

jdbc:hive2://hadoop001.potato.hamburg:2188,hadoop002.potato.hamburg:2188,hadoop003.potato.hamburg:2188/hsp;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hs2/_HOST@POTATO.HAMBURG

发生的原因是由于 maven打的jar中hive-jdbc的版本是1.2.1，但是程序中的hive版本是2.3的版本，版本不一致造成的这个原因。所以将maven的hive-jdbc版本修改为与hive的版本对应即可。