数据仓库中mysql,hive,hdfs,mapreduce之间的关系

我会带着你远行 2024-04-18 22:17 67阅读 0赞

**交流中发现很多hive转行的开发者都不是特别清楚，hive既然是数据仓库，那为什么还需要mysql数据库，还需要hdfs呢，熟悉三者之间的关系是作为一个合格的hive数据仓库开发者必须掌握的技能**

# 一.什么是Hive与其特点 #

官网介绍：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL 。 **也就是说：hive数据仓库软件使用sql读取、写入和管理驻留在分布式存储中的大型数据集。说明Hive的开发语言是SQL,而实际我们常见的分布式计算框架也就spark，MapReduce,Storm等，那么Hive如何使用SQL语言去进行分布式计算呢?**

#### Hive可以看做是MapReduce的客户端 ####

**因为Hive的底层运算是MapReduce计算框架，Hive只是将可读性强，容易编程的SQL语句通过Hive软件转换成MR程序在集群上执行。hive可以看做mapreduce客户端，能用mapreduce程序完成的任务基本都可以对应的替换成hql（Hive SQL）编写的hive任务。所以因为hadoop和hdfs的本身设计的特点，也限制了hive所能胜任的工作特性。Hive最大的限制特点就是不支持基于行记录的更新，删除，增加。但是用户可以通过查询生成新表，或者将查询结果导入文件中来“实现”hive基于行记录的操作。**

#### Hive是批处理系统 ####

**因为mapreduce是批处理系统，所以hive也是基于海量数据的批处理的。同样因为mapreduce具有高延迟（1.启动时间长2.中间结果放在本地而非内存中），造成hive执行也耗时过长**

#### hive不支持事物 ####

**所以不支持OLTP(连接事物处理)，更适用与OLAP(联机分析处理)，同样Hive还有不支持很多SQL的用法 ，后面会说。**

# 二.hive和hdfs,mysql，mapreduce之间的关系 #

#### 举例说明hive，mysql和hdfs之间的关系 ####

**下面是一个完成的流程，从hive中创建表，到往表里导入数据，1-9说明了hive,mysql，hdfs之间的流程。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70]  
**1.在hive中新建数据库t5**

create databases `t5`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 1]  
**2.在hdfs在user/hive/warehouse下已经新建t5.db文件夹，可以用hadoop fs -ls命令查看**

hadoop fs -ls /user/hive/warehouse

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 2]  
**3.mysql下多了t5元信息**

use hive;
    select * from DBS;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 3]  
**4.在hive中创建test表**

create table test(id bigint,name string,age int)
    row format delimited fields terminated by ' ';

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 4]

5.hdfs文件t5.db文件夹下下多了test文件夹![在这里插入图片描述][20190912161309341.png]  
6. 在mysql的hive库保存有hive的元数据。DBS-数据库的元数据信息，TBLS-表信息。COLUMNS\_V2表中字段信息，SDS-表对应hdfs目录，这里查看TBLS表信息可以看到多了一条

select * from TBLS;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 5]

7.导入文件到test中

load data local inpath '/home/hadoop/1.txt' into table test;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 6]

8.查看导入数据后的hadoop  
![在这里插入图片描述][2019091216171454.png]

#### 要点总结 ####

*  Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。
 *   Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以实际进行分布式运算的是MapReduce程序
 *   因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql中。为了啥存储到mysql里（实际是远程mysql）,因为hive本身就是一个解释器，所以他不存储数据。

参考：[https://blog.csdn.net/love284969214/article/details/82982847][https_blog.csdn.net_love284969214_article_details_82982847]  
\[https://blog.csdn.net/qq\_26442553/article/

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e5d673aa50aa4938af965bab17c9d28e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/54dd4b95a3be4ff49cece5f2bfa5b7d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1b960b4458b04b44856d7a54209955df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c47d071cb5bb45e6bb2ec773e806be90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6f137fad8346420db9dde707108ec68d.png
[20190912161309341.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6171db1c9ab244468e5968af90a0adac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/fbbce78b23c1485a99aa709ffd2501fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/600535a4edbd482a98a7ab0f7fbeb93c.png
[2019091216171454.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7144c836853a4a57a9358d8049479045.png
[https_blog.csdn.net_love284969214_article_details_82982847]: https://blog.csdn.net/love284969214/article/details/82982847