走进大数据,了解Hive

青旅半醒 2021-11-16 16:20 394阅读 0赞

**一.Hive的出现**

**Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给Apache软件基金会.**

**二.什么是Hive**

**1.官方声明(翻译后):****ApacheHive™数据仓库软件可以使用sql方便地读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序，将用户连接到Hive.**

**2.Hive也被称作数据仓库,可理解为是一种数据库，但是区别于我们寻常的数据库,比如说Mysql.**

**3.a.Hive是建立在HDFS文件系统上的.**

**b.Hive的表其实就是HDFS上的目录或者文件.**

**c.Hive允许熟悉MapReduce开发者自定义开发mapper和reducer来处理內建mapper和reducer无法完成的复杂的分析工作.**

**d.Hive采用了简单的类sql 查询语言,方便熟悉sql的用户查询**

**e.Hive有SQL解析引擎,它将SQL转换成MapReduce job,然后在Hadoop上执行.**

**三,Hive的特点**

**1,数据仓库的数据是面向主题的**

**2,数据仓库的数据是集成的**

**3.数据仓库的数据是不可更新的**

**4,数据仓库的数据是随时间不断变化**

**四,Hive元数据管理**

**Hive的元数据存储在我们传统的数据库中,被默认创建在derby数据库中，以表的形式保存数据、表的元信息、列元信息。**

**Hive中元数据存储表的详细信息,包括表名字，表的列和分区，表的类型(是否为外部表)，表的数据所在的目录等.**

**五.Hive的架构**

**Hive****通过给用户提供的一系列交互接口，接收到用户的指令(SQL),使用Driver,结合元数据,将指令经过解析器解析指令(SQL)、编译器编译成逻辑计划、优化器优化计划、最后执行器将逻辑计划转换成可以运行的MapReduce或者Spark.**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

**六,Hive数据类型**

**基本数类型:**

**tinyint/smallint/int/bigint:整型**

**float/double:浮点数类型**

**string/varchar/char:字符串类型**

**varchar,最大字符串**

**char，固定长度**

**复杂数据类型:**

**struct：结构类型,包含不同数据类型的元素.**

**map:集合类型，包含<key,value>键值对，可以通过key访问.**

**array:数组类型，由许多相同数据类型的元素组成.**

**七. Hive优势劣势:**

**A.优势:**

**a.采用类SQL,学习简单**

**b.Hive可以把SQL转换成MR Job,不用去写mapreduce,减少开发人员学习成本**

**c.Hive可处理大数据，反而对处理小数据不太在行,当然，延时较高.**

**d.Hive支持用户自己写函数.**

**B.劣势:**

**a.Hive 的效率比较低**

**b.Hive的HQL的表达能力有限**

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_jpeg]: /images/20211116/663f95abf4c54cac9a396462556a371d.png
[640_wx_fmt_png]: /images/20211116/4751d6c925aa4cd0bb3bb4ad886db632.png

发表评论取消回复

表情：

评论列表（有 0 条评论，394人围观）

还没有评论，来说两句吧...

相关阅读

相关走进大数据丨 ZooKeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比

雨点打透心脏的1/2处/ 2023年06月21日 08:58/ 0 赞/ 37 阅读

相关走进大数据丨 Hadoop生态体系

Hadoop是一个由Apache基金会所开发的分布式系统的基础架构。用户可以在不了解分布式的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop优点

你的名字/ 2023年06月19日 11:05/ 0 赞/ 89 阅读

相关走进大数据丨 YARN

概念 YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件 Cli

客官°小女子只卖身不卖艺/ 2023年06月19日 11:05/ 0 赞/ 77 阅读

相关走进大数据丨 Kafka(三)

常见的Message Queue对比 RabbitMQ RabbitMQ是使用Erlang编写的一个开源消息队列，本身支持很多协议:AMQP、XMPP、SMPT、STOMP

逃离我推掉我的手/ 2023年06月19日 11:05/ 0 赞/ 76 阅读

相关走进大数据丨 Kafka(二)

Kafka的优点解耦在项目启动之初来预测项目将来会碰到什么需求，是极其困难的。消息系统在处理的过程中间插入了一个隐含的，基于数据的接口层，两边的处理过程都要实现这一接口

ゝ一世哀愁。/ 2023年06月19日 11:05/ 0 赞/ 34 阅读

相关走进大数据丨 ETL - 性能分析

ETL过程中难免遇到性能问题,运行很慢是一件较常见的事情,遇到这些问题时,我们该如何分析,解决呢?首先我们要找到问题出在哪里,也就是系统的瓶颈在哪. 1. 确定环境是否有瓶

古城微笑少年丶/ 2023年06月19日 11:05/ 0 赞/ 36 阅读

相关走进大数据丨 Kafka（一）

kafka概述 Kafka是一个分布式，分区的，多副本的，多订阅者，基于zookeeper协调的的分布式日志系统，常见可用于web/nginx日志，消息服务等等。 Kafk

小咪咪/ 2023年06月19日 11:04/ 0 赞/ 41 阅读

相关走进大数据丨 Hive常见函数

Hive中常见的SQL函数 1. 显示HOST地址 2. 1. select parse\_url('地址','HOST') 2. 实例: select pa

曾经终败给现在/ 2023年06月19日 11:04/ 0 赞/ 37 阅读

相关走进大数据开源项目

转自：[http://mp.weixin.qq.com/s/nUiEDyfeu\_md828Sr7dxng][http_mp.weixin.qq.com_s_nUiEDyfeu

港控/mmm°/ 2022年06月07日 08:08/ 0 赞/ 322 阅读

相关走进大数据,了解Hive

一.Hive的出现 Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给Apache软件基金会. 二.什么是Hive 1.

青旅半醒/ 2021年11月16日 16:20/ 0 赞/ 395 阅读