Hive 工具类封装

客官°小女子只卖身不卖艺 2023-10-10 12:29 103阅读 0赞

package com.zzg.hive.util;
    
    import java.sql.*;
    import java.util.Date;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * 1. 数据仓库连接
     * 2. 数据库列表预览
     * 3. 数据表列表预览
     * 4. 数据表结构预览
     * 5. 样例数据预览(抽样)
     * 6. 切换数据库
     * */
    
    public class HiveUtil {
        private Connection conn = null;
        PreparedStatement preparedStatement = null;
        ResultSet resultSet = null;
        Statement statement = null;
    
        static {
            try{
                //1、加载驱动
                Class.forName("org.apache.hive.jdbc.HiveDriver");
            }catch (ClassNotFoundException e){
                e.printStackTrace();
            }
        }
    
        //构造方法：打开一个连接
        public HiveUtil(){
            try{
                //1、数据仓库连接
                conn = DriverManager.getConnection("jdbc:hive2://master:10010","anna","");
                statement = conn.createStatement();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 2. 数据库列表预览
         * @return 返回数据库名称集合
         * 语句：show databases
         */
        public List<String> getDatabases(){
            List result = new ArrayList<String>();
    
            //执行查询
            try {
                preparedStatement = conn.prepareStatement("show databases");
                resultSet = preparedStatement.executeQuery();
                while (resultSet.next()) {
                    result.add(resultSet.getString(1));
                }
                return result;
            } catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
        * 3、数据库列表预览
        * show tables
        * @param database 要获取哪个数据库中的表
        * @return 返回的是数据表的集合
         * 语句：show {database}.{table}
        * */
        public List<String> getTables(String database){
            List result = new ArrayList<String>();
    
            //执行查询
            try {
                //切换数据库
                changeDatabase(database);
                resultSet = statement.executeQuery("show tables");
                while (resultSet.next()) {
                    result.add(resultSet.getString(1));
                }
                return result;
            } catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
         * 4、 数据表结构预览
         * @param database 数据库名称
         * @param table 数据表名称
         * @return 返回的是表的描述性息的集合
         * 语句：desc {database}.{table}
         * */
        //需要参数：数据库名，表名
        public List<String> getTableDesc(String database,String table){
            List<String> result = new ArrayList<>();
    
           try{
               //创建preparedStatement
               preparedStatement = conn.prepareStatement("desc " + database + "." + table);
               //执行查询操作
               ResultSet resultSet = preparedStatement.executeQuery();
    
               //将结果封装到list中
               while (resultSet.next()) {
                   result.add(resultSet.getString(1) + "  " + resultSet.getString(2));
               }
    
               return result;
    
           } catch (SQLException e) {
               e.printStackTrace();
           }
           return null;
        }
    
        /**
         * 5. 样例数据预览(抽样)——>limit实现
         * @param database 数据库名称
         * @param table 数据表名称
         * @param n 获取前n行记录
         * 语句：select * from {database}.{table} limit {number}
         * */
        public List<String> getDataByLimit(String database, String table, int n) {
            int columns = getTableDesc(database, table).size();
            List<String> list = new ArrayList<>();
            try {
                preparedStatement = conn.prepareStatement("select * from " + database + "." + table + " limit " + n);
                resultSet = preparedStatement.executeQuery();
                return getData(resultSet, columns);
            } catch (Exception e) {
                e.printStackTrace();
            }
            return null;
        }
    
        /**
         * 5. 样例数据预览(抽样)——> tablesample实现
         * @param database 数据库名称
         * @param table 数据表
         * @param percent 抽样比例
         * 语句: select * from {database}.{table} tablesample({percent} percent)
         * */
        public List<String> getDataBySample(String database, String table, double percent) {
            int columns = getTableDesc(database, table).size();
            List<String> list = new ArrayList<>();
            try {
                preparedStatement = conn.prepareStatement("select * from " + database + "." + table + " tablesample(" + percent + " percent)");
                resultSet = preparedStatement.executeQuery();
                return getData(resultSet, columns);
            } catch (Exception e) {
                e.printStackTrace();
            }
            return null;
        }
    
        /**
         * 5. 样例数据预览(抽样)——> rand实现
         * @param database 数据库名称
         * @param table 数据表
         * @param n 随机取出前n行记录
         * 语句：select *,rand()r from {database}.{table} order by r limit n
         * */
        public List<String> getDataByRandom(String database, String table, int n) {
            int columns = getTableDesc(database, table).size();
            List<String> list = new ArrayList<>();
            try {
                preparedStatement = conn.prepareStatement("select *,rand() r from " + database + "." + table + " order by r limit " + n);
                resultSet = preparedStatement.executeQuery();
                return getData(resultSet, columns - 1);
            } catch (Exception e) {
                e.printStackTrace();
            }
            return null;
        }
    
        /**
         * 数据封装工具
         * @param resultSet 结果集
         * @param size 数据列数量,也就是要获取几列的数据
         * @return 封装的List数据集
         */
        private List<String> getData(ResultSet resultSet,int size){
            try {
                List<String> list = new ArrayList<>();
                while (resultSet.next()) {
                    String line = "";
                    for (int i = 0; i < size; i++) {
                        line += resultSet.getString(i + 1) + "\t";
                    }
                    line = line.substring(0, line.length() - 1);        //左闭右开
                    //将每一条记录添加到lisi中
                    list.add(line);
                }
                return list;
            } catch (Exception e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
         * 通过自定义的SQL返回结果
         * @param sql 要执行的sql语句——包含数据库名称
         * @return 执行SQL的结果集
         *
         * 前期准备：hive中存在数据库temp，用于存放临时SQL去查询的中间表
         * ① 将查询到的结果集生成中间表存放到temp数据库下 create table {table} as sql
         * ② 再通过查询此中间表返回结果集合
         * ③ 表名随机：tmp_userId_时间戳
         * */
        public List<String> getDataBySQL(String sql) {
            //将表名进行随机：tmp_userId_时间戳
            //时间戳——> long ——> 1970-01-01 00:00:00 ——> Unix元年
    
            try {
                String tableName = "temp_1_" + new Date().getTime();
                preparedStatement = conn.prepareStatement("create table temp." + tableName + " as " + sql);
                preparedStatement.execute();
    
                //获取表的字段个数
                int size = getTableDesc("temp",tableName).size();
                preparedStatement = conn.prepareStatement("select * from temp." + tableName);
                ResultSet resultSet = preparedStatement.executeQuery();
                return getData(resultSet, size);
            } catch (Exception e) {
                e.printStackTrace();
            }
    
            return null;
        }
    
    
        /**
         * 从数据表中查询指定列的数据
         * @param sql 要执行的sql语句——>包含数据库名称
         * @param columnsIndex 待查询的列的索引
         * @return SQL执行的结果集
         * */
        public List<String> getDataBySQLWithColumns(String sql,int[] columnsIndex){
            try{
                String tableName = "tmp_1_" + new Date().getTime();
                preparedStatement = conn.prepareStatement("create table temp." + tableName + " as " + sql);
                resultSet = preparedStatement.executeQuery();
                return getDataByColumns(resultSet, columnsIndex);
    
            }catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
         * @param resultSet 查询结果集
         * @param columnIndex 数据列索引
         * @return 封装的List数据集
         * */
        private List<String> getDataByColumns(ResultSet resultSet, int[] columnIndex) {
            List<String> list = new ArrayList<>();
    
            try{
                while (resultSet.next()) {
                    String line = "";
    
                    for (int i = 0;i < columnIndex.length;i++) {
                        line += resultSet.getString(columnIndex[i]) + ",";
                    }
                    line = line.substring(0,line.length() - 1);
                    list.add(line);
                }
                return list;
            } catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
         * 执行查询语句，返回结果
         * @param sql 需要执行的sql语句
         * @param paras 执行查询时所需要的参数
         * @return 结果集
         * */
        public ResultSet executeQuery(String sql,Object[] paras){
            try {
                preparedStatement = conn.prepareStatement(sql);
                getPreparedStatement(paras);
                return preparedStatement.executeQuery();
            } catch (SQLException e) {
                e.printStackTrace();
                return null;
            }
        }
    
        /**
         * 将传入的参数进行赋值，构建一个完整的PreparedStatement
         * @param paras 传入的参数
         */
        private void getPreparedStatement(Object[] paras) {
            try {
                if (paras != null) {
                    for (int i = 0; i < paras.length; i++) {
                        preparedStatement.setObject(i + 1, paras[i]);
                    }
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 执行一个不需要返回结果的命令
         * @param sql 需要执行的sql
         * @param paras 执行sql需要的参数
         */
        public void execute(String sql, Object[] paras){
            try {
                preparedStatement = conn.prepareStatement(sql);
                getPreparedStatement(paras);
                preparedStatement.execute();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 6、切换数据库
         * @param database 数据库名称
         * 语句：use {database}
         * */
        public void changeDatabase(String database) {
            try {
                statement.execute("use " + database);
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 释放资源
         */
        public void close() {
            try {
                if (resultSet != null) {
                    resultSet.close();
                }
                if (preparedStatement != null){
                    preparedStatement.close();
                }
                if (conn != null){
                    conn.close();
                }
            }catch (Exception e){
                e.printStackTrace();
            }
        }
    }