HIve的概念，发展，历史，部署，入门，加载数据

骑猪看日落 2024-02-19 17:33 21阅读 0赞

### Hive – 天天会用到的hive ###

\#产生背景

MapReduce编程不方便：开发、测试、需求变更
    
    传统关系型数据库人员的需要   
               关系型数据库：是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据
                                         标准数据查询语言SQL就是一种基于关系数据库的语言
    DBA：我就像使用sql一样的方式来处理分析大数据
    ==> Hive的产生 
    文件存放在HDFS之上的，那么如果你想使用SQL去处理它，需要一个什么前提？
              HDFS 上面文件都是文本 想办法转化数据  创建一张表，每张表的字段跟hdfs文本对应
    	结构化、文件映射成表格 ==> Schema用它来说实现  元数据信息(metastore)

### Hive是什么： ###

**官网：[hive.apache.org][]**  
data warehouse 数据仓库  
The Apache Hive ™ data warehouse(仓库) software facilitates(促进) reading, writing, and managing large datasets residing(住) in distributed(分布式的) storage using SQL  
使用sql对大的数据集分布式读和写的处理，

分布式存储：HDFS、S3、OSS
    hdfs://xxxxxxx
    s3://.....
    
    Facebook开源：最开始是解决海量结构化日志的数据 pv uv用来处理日志的额，每天访问多少ip
    构建在Hadoop之上的数据仓库，
    Hive定义了SQL语言：HQL  (类SQL)
    hadoop适合通常用于离线处理，所以hive也适合离线处理
    SQL =====Hive=====MapReduce/Spark/Tez===>YARN
                                                         hive执行引擎
    Hive on MapReduce
    Hive on Spark  写个sql语句经过hive框架翻译成spark上作业
    Hive on Tez

### Hive发展历程 ###

08/07  07年8月  Facebook
    05/13   13年5月  0.11  Stinger Phase 1 ORC列式存储  HiveServer2把hive提起来，相当于一个客户端就可以连接起来                                                Stinger计划 
    10/13                  0.12  Stinger Phase 2 ORC improvement  性能改进
    04/14                  0.13  Stinger Phase 3 Tez and Vectorized query engine 向量化查询引擎
    11/14                  0.14  Stinger.next Phase 1: Cost-based optimizer   优化

**面试 为什么要使用Hive**  
1) SQL方便写 简单容易  
2) Hadoop 能够操作大规模数据集 ，如果不够就加机器，  
3) MetaStore: Pig/Impala/Presto/SparkSQL 共享元数据信息 MetaStore 是数据库

### hive 部署架构 ###

视频6多看看  
Hadoop 分布式 集群  
Hive 仅仅只是客户端而已  
sql 客户端 到hive 提交到hadoop集群的RM 上  
元数据信息的存储就是使用mysql的  
生产上一定要部署2mysql 防止挂掉，没有元数据了 ，

### Hive与RDBMS的关系 ###

相同点：都是用SQL    Hive QL和SQL的关系：两者没有任何关系，只是语法相似而已
    实时性 RDBMS发出一个数据，会马上出现    hive是实时性很差
    事务     大数据里面的事务 特别是这种离线处理就是鸡肋，没有什么意义 工作当中不用考虑用hive sql去处理事务
    分布式hive支持分布式                              
    数据量 hive支持大量的

### Hive部署 ###

视频8  
查找 chd版本 搜索hadoop-2.6.0-cdh5.7.0  
下载：[http://archive-primary.cloudera.com/cdh5/cdh/5/][http_archive-primary.cloudera.com_cdh5_cdh_5]  
在使用CDH版本的时候一定要注意：尾巴对准了  
hadoop采用5.7.0 所以hive也采用5.7.0  
wget [http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz][http_archive-primary.cloudera.com_cdh5_cdh_5_hive-1.1.0-cdh5.7.0.tar.gz]

解压：tar -xzvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/
    配置环境变量： ~/.bash_profile
    	export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
    	export PATH=$HIVE_HOME/bin:$PATH
    生效： source ~/.bash_profile
    Hive配置：$HIVE_HOME/conf
    	hive-env.sh
    		HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
    	hive-site.xml配置的就是MySQL的相关信息  hive这里面也要配置mysql的信息
    	
    <property>
    	<name>javax.jdo.option.ConnectionURL</name>
    	<value>jdbc:mysql://localhost:3306/ruoze_d5?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
    </property>                                                                这里是hive字符集更改
    
    <property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
    	<name>javax.jdo.option.ConnectionUserName</name>
    	<value>root</value>
    </property>
    
    <property>
    	<name>javax.jdo.option.ConnectionPassword</name>
    	<value>root</value>
    </property>

我们要hive连接mysql 所以 拷贝mysql驱动到$HIVE\_HOME/lib

[hadoop@hadoop001 ~]$ cd software
    [hadoop@hadoop001 software]$ ll
    total 852
    -rw-r--r-- 1 hadoop hadoop 872300 Nov 19 20:06 mysql-connector-java-5.1.27.jar

cp一份就可以了 到$HIVE\_HOME/lib

**可能遇到的问题：mysql赋权**

启动hive  
bin下面 ./hive

### 快速入门 ###

hive > create table ruoze\_helloworld(id int,name string)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\\t’;  
hdfs上的文件是有字段的分隔符，所以你创建的内容一定要与hdfs的内容关联上，  
这里会挂，为什么怎么办  
先看日志  
我们要考虑一下mysql里面的数据集对不对

alter database ruoze\_d5 character set latin1;

去mysql更改一下  
进入mysql  
use切换到数据库  
把这个贴过来更改一下alter database ruoze\_d5 character set latin1;  
在重新  
hive > create table ruoze\_helloworld(id int,name string)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\\t’;  
就可以了ok

**加载数据**  
load data local inpath ‘/home/hadoop/data/helloworld.txt’ overwrite into table ruoze\_helloworld;  
加载数据从本地 local指机器 去掉的话就是hdfs 文件的pwd 路径 重新写到那张表  
select \* from ruoze\_helloworld;  
select count（1）from ruoze\_helloworld;  
看外部界面8088 之前要把yarn启动 jps  
这个select语句，hive就把提交到yarn上运行

[hive.apache.org]: http://hive.apache.org
[http_archive-primary.cloudera.com_cdh5_cdh_5]: http://archive-primary.cloudera.com/cdh5/cdh/5/
[http_archive-primary.cloudera.com_cdh5_cdh_5_hive-1.1.0-cdh5.7.0.tar.gz]: http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz