hive基本概念

Dear 丶 2023-10-12 12:49 7阅读 0赞

1.hive是一个基于hadoop之上的一个数据仓库。可以处理的数据是关系型数据 库（结构性）、本地数据、hdfs数据（非结构化的数据）； 2.hive是对处理数据的mapreduce的封装平台 3.hive会提供一些简单的类sql语句来代替mapreduce执行； 4.hive是为对[数据库][Link 1]比较数据的非专业人员准备的 5.hive的操作语句：QL语句--》HSql--》类（like）sql 6.hive在处理业务的时候有一定的局限性，只能处理一些简单的。常用 的业务，如果碰到比较复杂的业务处理时，依然需要开发人员自己的 mapreduce应用。 7.使用hive操作的数据来源可以来自不同的软件系统：本地系统、hdfs系统、亚马逊s3; 8.hive上的操作的数据格式可以由用户进行设定，否则会出现存入的数据和读取的数据显示不一致，一般都会显示为null。 9.安装配置hive的前提条件： 安装jdk 安装hadoop 安装hive 10.hive的QL语句是基于sql92规范，能够支持大部分的语法和语义，但是并不完全支持，同时也增加增加一些hive自己的QL语法规则。 11.hive的存储数据的格式以表的形式： 外部表 内部表 桶表 分区表 12.安装与配置hive 说明： 1）安装hive时，首先确保hadoop已经安装完毕并且能正确使用 2）因为hive是基于hadoop平台，安装hive之后需要进行相关配置。相关文件：hive-evn.sh和hive-site.xml 3）建议配置hive的path环境:HIVE\_HOME在/etc/profile，hive有自带的一个[关系型数据库][Link 2]derby,如果使用自带的数据库，需要进行数据库的相关配置。如果开发者想更换数据库，例如更换mysql数据库，则需要进行配置文件的修改并且需要提供mysql数据库的驱动放到hive\_home/lib下。目前hive主要是支持derby和mysql数据库

安装hive的步骤： 1)解压hive-0.12.0.tar.gz simple/:tar -zxvf /usr/java/hive-0.12.0.tar.gz 2)配置hive-evn.sh 在hive的安装目录下的conf文件中修改hive-env.sh文件（如果该目录下不存在该文件，可复制如下：） cp hive-evn.sh.template hive-evn.sh(hive-env.sh文件名是固定的，不得随意修改) 复制完毕之后 vim hive-site-evn.sh 增加hadoopd的安装目录 如：HADOOP\_HOME=/simple/hadoop-2.4.1 3)修改环境变量：vim /etc/profile 添加hive的安装目录和path路径 HIVE\_HOME=/simple/hive-0.12.0(新添加） export PATH=$JAVA\_HOME/bin:$HIVE\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$PATH 4）source /etc/profile 5)测试hive的使用 切换到指定的目录（建议在hive的安装目录下hive-0.12.0或者hive-0.12.0/bin） 6）/>hive or ./hive

show databases;//查看所有的数据库 create database bigdata;//创建数据库 use bigdata;//指定使用数据库 create table stu(id int,name string,age int) row format delimited fieds terminated by '';//创建stu表并指定表的格式 show tables;//查看数据库中所有的表 load data local inpath '/simple/student.txt' into table stu;//从本地导入到hive的指定数据表中（导入数据） 注意：在hive中创建表要指定表的row格式，否则不能正确读取导入的数据信息 说明：1)在使用hive的时候，确保hdfs和mapreduce启动（start-all.sh） 2)hive执行的数据类型比较少，常用的类型：int samllint tinyint lagerint boolean double long string map struct 3)hive的安装目录的结果 bin:可执行的文件（二进制），例如：hive hiveserver2 hive-confing.sh等 config：hive的配置文件，里面的配置文件都是默认的配置文件，它是缺省配置服务的。如果需要自定义，配置文件需要创建一个hive-site.xml docs:hive的参考文档 lib：存放jar的地方 metastore\_db:该目录是启动hive的和时候，自动生成的一个目录，是用来存放hive的元数据信息。 4)derby数据库只支持单用户链接

13.内部表 create table t1(id int); create table t1(id int) row format delimited fields terminated by '\\t'; load data local inpath '/simple/xxx.txt' into table t1; 表的修改： alter table targert\_tab add columns(id int); 表的删除： drop table db\_name; 删除表的时候，对跟随的数据也随着丢失 drop database db\_name; 在删除数据库的时候，如果数据库中存在表，不让删除；

复制一张表结构，但不导入数据： creat table carcp like car； 说明： 以上操作完毕之后，可以再浏览器中查看hdfs上的目录结构进行对比 再启动hive的时候，会在hdfs上创建一个目录：user/hive/warehouse/库/表 数据信息在hdfs上都是以目录和文件形式存在，在操作数据的时候需要hdfs和 metastore配合使用。 http://192.168.189.100:50070/user/hive/warehouse/库/表/stu.txt 如果在Windows下面远程下载stu.txt文件时，会存在访问不到linux中hdfs路径，此时 需要host的目录：c:\\windows\\System32\\drivers\\etc\\hosts文件 编辑hosts文件并添加： 192.168.189.100 iflysee.hfpan.com

14.外部表 创建表： create external table external\_tab(id int)row format delimited fields terminated by '/t' localtion '/out' 此处的’/out'不会在hive的仓库目录（/user/hive/warehose)中生成，而是直接在 hdfs的根目录生成（hdfs：//192.168.203.100：9000/out) 加载数据： load data local inpath '/simple/xxx.txt' into table external\_table; 当删除外部表的时候，metastore中元数据信息会丢失，但是外部目录中指数据不会 丢失，这说明metastore中的描述信息可以作为外部数据信息的一个引用。

15.分区表 创建表 create table t2(id int) partitioned by (day int); create table t3(rectime string,msisdn string)partitioned by(daytime string， city string) row format delimited fields terminated by ' ' stored as textfile; //加载数据到分区 load data local inpath '/simple/gps.txt' overwirte into table t3 partition(nation=‘china’); 创建完分区表之后，可以通过desc 表明查看表的结构和外部表的结构有什么不同 \\>desc table\_name; ok address string None year int None num int None nation string None \#Partition Information \#col\_name data\_type comment 从上面可以看出nation字段虽然是分区字段，但是也可以作为表的一个字段属性，也就是说明在操作表 的时候，该字段也可以作为参数操作。 说明：再给分区表加载数据的时候，可以通过分区字段指定分区值，那么对应的数据会在Hive的数据仓库中的数据库下创建 不同的分区路径，形如：nation='china' nation=‘usa'

查看数据： select \* from table\_name; select count(\*) from table\_name; select \* from table\_name where year='2014' and nation='usa'; show tables '\*ca\*'; show partitions table\_name; 删除信息： 删除表：drop table table\_name; 删除分区：alter table table\_name drop partition(nantion='usa'); 分区表跟内部表删除数据原理相似，即删除元数据信息metastore时，实际数据也会随着丢失

alter table pcar add（drop) partition (nation='uk'); show partitions pcar;

16.桶表 更高效！可取样！主要用于[大数据][Link 3]集群的取样！ 桶的原理是对一个表（或者分区）进行切片，选择被切片的字段，用字段与个数的hash值进行存储入桶。 创建表： create table stu(id int,name string) clustered by(id) into 4 buckets row format delimited fields terminated by ' ';

insert into table t4 select id from t3; 桶表是对数据进行哈希取值，然后放到不同文件中存储。

加载数据：

set hive.enforce.bucketing=true; insert into table bucket\_name select id from stu; insert overwirte table bucket\_name select id from stu; 数据加载到桶表时，会对字段取哈希值，然后与桶的数量取模。把数据放到对应的文件中。 抽样查询： select \* from bucket\_name tablesample(bucket 1 out of 4 on id);

set hive.enforce.bucketing=true; select \* from student tablesample(bucket 2 out of 3 on id); create table sct like student; insert overwrite table sct select \* from student; 把一个hive的表导入到另一个已建hive表 insert overwrite table table\_new select \* from student;

17.视图 创建视图： create view v1 as select \* from table\_name; 删除一个视图的时候不能使用 drop table view\_name; 而是使用drop view view\_name;

[Link 1]: https://cloud.tencent.com/solution/database?from=20065&from_column=20065
[Link 2]: https://cloud.tencent.com/product/cdb-overview?from=20065&from_column=20065
[Link 3]: https://cloud.tencent.com/solution/bigdata?from=20065&from_column=20065