HIve的JavaAPI操作

冷不防 2022-09-22 01:14 153阅读 0赞

基于hadoop的Hive数据仓库JavaAPI简单调用的实例，关于Hive的简介在此不赘述。hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI

1.  CLI，即Shell命令行
2.  JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似
3.  WebGUI是通过浏览器访问 Hive

本文主要介绍的就是第二种用户接口，直接进入正题。

1、Hive 安装：

1）hive的安装请参考网上的相关文章，测试时只在hadoop一个节点上安装hive即可。

2）测试数据data文件'\\t'分隔：

1   zhangsan

2    lisi

3   wangwu

3）将测试数据data上传到linux目录下，我放置在：/home/hadoop01/data

2、在使用 JDBC 开发 Hive 程序时,  必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:

Java代码   ![收藏代码][icon_star.png]

1.  hive --service hiveserver >/dev/**null** 2>/dev/**null** &

3、测试代码：

Java代码   ![收藏代码][icon_star.png]

1.  **import** java.sql.Connection;  
2.  **import** java.sql.DriverManager;  
3.  **import** java.sql.ResultSet;  
4.  **import** java.sql.SQLException;  
5.  **import** java.sql.Statement;  
6.    
7.  **import** org.apache.log4j.Logger;  
8.    
9.  /\*\* 
10.  \* Hive的JavaApi 
11.  \*  
12.  \* 启动hive的远程服务接口命令行执行：hive --service hiveserver >/dev/null 2>/dev/null & 
13.  \*  
14.  \* @author 吖大哥 
15.  \*  
16.  \*/  
17. **public** **class** HiveJdbcCli \{  
18.   
19.     **private** **static** String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";  
20.     **private** **static** String url = "jdbc:hive://hadoop3:10000/default";  
21.     **private** **static** String user = "hive";  
22.     **private** **static** String password = "mysql";  
23.     **private** **static** String sql = "";  
24.     **private** **static** ResultSet res;  
25.     **private** **static** **final** Logger log = Logger.getLogger(HiveJdbcCli.**class**);  
26.   
27.     **public** **static** **void** main(String\[\] args) \{  
28.         Connection conn = **null**;  
29.         Statement stmt = **null**;  
30.         **try** \{  
31.             conn = getConn();  
32.             stmt = conn.createStatement();  
33.   
34.             // 第一步:存在就先删除  
35.             String tableName = dropTable(stmt);  
36.   
37.             // 第二步:不存在就创建  
38.             createTable(stmt, tableName);  
39.   
40.             // 第三步:查看创建的表  
41.             showTables(stmt, tableName);  
42.   
43.             // 执行describe table操作  
44.             describeTables(stmt, tableName);  
45.   
46.             // 执行load data into table操作  
47.             loadData(stmt, tableName);  
48.   
49.             // 执行 select \* query 操作  
50.             selectData(stmt, tableName);  
51.   
52.             // 执行 regular hive query 统计操作  
53.             countData(stmt, tableName);  
54.   
55.         \} **catch** (ClassNotFoundException e) \{  
56.             e.printStackTrace();  
57.             log.error(driverName + " not found!", e);  
58.             System.exit(1);  
59.         \} **catch** (SQLException e) \{  
60.             e.printStackTrace();  
61.             log.error("Connection error!", e);  
62.             System.exit(1);  
63.         \} **finally** \{  
64.             **try** \{  
65.                 **if** (conn != **null**) \{  
66.                     conn.close();  
67.                     conn = **null**;  
68.                 \}  
69.                 **if** (stmt != **null**) \{  
70.                     stmt.close();  
71.                     stmt = **null**;  
72.                 \}  
73.             \} **catch** (SQLException e) \{  
74.                 e.printStackTrace();  
75.             \}  
76.         \}  
77.     \}  
78.   
79.     **private** **static** **void** countData(Statement stmt, String tableName)  
80.             **throws** SQLException \{  
81.         sql = "select count(1) from " + tableName;  
82.         System.out.println("Running:" + sql);  
83.         res = stmt.executeQuery(sql);  
84.         System.out.println("执行“regular hive query”运行结果:");  
85.         **while** (res.next()) \{  
86.             System.out.println("count ------>" + res.getString(1));  
87.         \}  
88.     \}  
89.   
90.     **private** **static** **void** selectData(Statement stmt, String tableName)  
91.             **throws** SQLException \{  
92.         sql = "select \* from " + tableName;  
93.         System.out.println("Running:" + sql);  
94.         res = stmt.executeQuery(sql);  
95.         System.out.println("执行 select \* query 运行结果:");  
96.         **while** (res.next()) \{  
97.             System.out.println(res.getInt(1) + "\\t" + res.getString(2));  
98.         \}  
99.     \}  
100.   
101.     **private** **static** **void** loadData(Statement stmt, String tableName)  
102.             **throws** SQLException \{  
103.         String filepath = "/home/hadoop01/data";  
104.         sql = "load data local inpath '" + filepath + "' into table "  
105.                 + tableName;  
106.         System.out.println("Running:" + sql);  
107.         res = stmt.executeQuery(sql);  
108.     \}  
109.   
110.     **private** **static** **void** describeTables(Statement stmt, String tableName)  
111.             **throws** SQLException \{  
112.         sql = "describe " + tableName;  
113.         System.out.println("Running:" + sql);  
114.         res = stmt.executeQuery(sql);  
115.         System.out.println("执行 describe table 运行结果:");  
116.         **while** (res.next()) \{  
117.             System.out.println(res.getString(1) + "\\t" + res.getString(2));  
118.         \}  
119.     \}  
120.   
121.     **private** **static** **void** showTables(Statement stmt, String tableName)  
122.             **throws** SQLException \{  
123.         sql = "show tables '" + tableName + "'";  
124.         System.out.println("Running:" + sql);  
125.         res = stmt.executeQuery(sql);  
126.         System.out.println("执行 show tables 运行结果:");  
127.         **if** (res.next()) \{  
128.             System.out.println(res.getString(1));  
129.         \}  
130.     \}  
131.   
132.     **private** **static** **void** createTable(Statement stmt, String tableName)  
133.             **throws** SQLException \{  
134.         sql = "create table "  
135.                 + tableName  
136.                 + " (key int, value string)  row format delimited fields terminated by '\\t'";  
137.         stmt.executeQuery(sql);  
138.     \}  
139.   
140.     **private** **static** String dropTable(Statement stmt) **throws** SQLException \{  
141.         // 创建的表名  
142.         String tableName = "testHive";  
143.         sql = "drop table " + tableName;  
144.         stmt.executeQuery(sql);  
145.         **return** tableName;  
146.     \}  
147.   
148.     **private** **static** Connection getConn() **throws** ClassNotFoundException,  
149.             SQLException \{  
150.         Class.forName(driverName);  
151.         Connection conn = DriverManager.getConnection(url, user, password);  
152.         **return** conn;  
153.     \}  
154.   
155. \}

4、测试结果

![点击查看原始大小图片][3c8d8054-968e-336a-b64d-c4f04e6b42d9.png]

5、终端查询结果：

hive> select \* from testHive;

1       zhangsan

2       lisi

3       wangwu

Time taken: 11.232 seconds

hive>

*  **博客分类：** 
 *  [Hive&JavaAPI][Hive_JavaAPI]

[hadoop][] [hive][] [数据仓库][Link 1] [大数据][Link 2]

基于hadoop的Hive数据仓库JavaAPI简单调用的实例，关于Hive的简介在此不赘述。hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI

1.  CLI，即Shell命令行
2.  JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似
3.  WebGUI是通过浏览器访问 Hive

本文主要介绍的就是第二种用户接口，直接进入正题。

1、Hive 安装：

1）hive的安装请参考网上的相关文章，测试时只在hadoop一个节点上安装hive即可。

2）测试数据data文件'\\t'分隔：

1   zhangsan

2    lisi

3   wangwu

3）将测试数据data上传到linux目录下，我放置在：/home/hadoop01/data

2、在使用 JDBC 开发 Hive 程序时,  必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:

Java代码   ![收藏代码][icon_star.png]

1.  hive --service hiveserver >/dev/**null** 2>/dev/**null** &

3、测试代码：

Java代码   ![收藏代码][icon_star.png]

4、测试结果

![点击查看原始大小图片][3c8d8054-968e-336a-b64d-c4f04e6b42d9.png]

5、终端查询结果：

hive> select \* from testHive;

1       zhangsan

2       lisi

3       wangwu

Time taken: 11.232 seconds

hive>

[icon_star.png]: /images/20220721/97ce73373f6a452cac2312829b7bd916.png
[3c8d8054-968e-336a-b64d-c4f04e6b42d9.png]: /images/20220721/bf7c6d08b4c542c2a303a525099ed28c.png
[Hive_JavaAPI]: http://787141854-qq-com.iteye.com/category/313743
[hadoop]: http://www.iteye.com/blogs/tag/hadoop
[hive]: http://www.iteye.com/blogs/tag/hive
[Link 1]: http://www.iteye.com/blogs/tag/%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93
[Link 2]: http://www.iteye.com/blogs/tag/%E5%A4%A7%E6%95%B0%E6%8D%AE