大数据之Hive 查询之SQL的完整使用（第六章）

柔情只为你懂 2022-09-10 15:20 595阅读 0赞

### 大数据之Hive 查询之SQL的 完整使用 ###

*  一 在线文档
 *   *  1、地址连接
     *  2、查询语句语法：
 *  二 基本查询（Select…From）
 *   *  1、全表和特定列查询
     *   *  0）数据准备
         *  1）全表查询
         *  2）选择特定列查询
 *  三 列别名
 *   *  1）重命名一个列
     *  2）便于计算
     *  3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’ 4）案例实操
 *  四 算术运算符
 *  五 常用函数
 *   *  1）求总行数（count）
     *  2）求工资的最大值（max）
     *  3）求工资的最小值（min）
     *  4）求工资的总和（sum）
     *  5）求工资的平均值（avg）
 *  六 Limit 语句
 *  七 Where 语句
 *   *  1）使用 WHERE 子句，将不满足条件的行过滤掉
     *  2）WHERE 子句紧随 FROM 子句
     *  3）案例实操
 *  八 比较运算符（Between/In/ Is Null）
 *   *  1）下面表中描述了谓词操作符，这些操作符同样可以用于 JOIN…ON 和 HAVING 语句中。
     *  2）案例实操
     *   *  （1）查询出薪水等于 5000 的所有员工
         *  （2）查询工资在 500 到 1000 的员工信息
         *  （3）查询 comm 为空的所有员工信息
         *  （4）查询工资是 1500 或 5000 的员工信息
 *  九 Like 和 RLike
 *   *  1）使用 LIKE 运算选择类似的值
     *  2）选择条件可以包含字符或数字
     *  3）RLIKE 子句
     *  4）案例实操
     *   *  （1）查找名字以 A 开头的员工信息
         *  （2）查找名字中第二个字母为 A 的员工信息
         *  （3）查找名字中带有 A 的员工信息
 *  十 逻辑运算符（And/Or/Not）
 *   *  1）案例实操
     *   *  （1）查询薪水大于 1000，部门是 30
         *  （2）查询薪水大于 1000，或者部门是 30
         *  （3）查询除了 20 部门和 30 部门以外的员工信息
 *  十一 分组
 *   *  1）案例实操
     *   *  （1）计算 emp 表每个部门的平均工资
         *  （2）计算 emp 每个部门中每个岗位的最高薪水
     *  2）Having 语句
     *   *  1）having 与 where 不同点
         *  2）案例实操
 *  十一 Join 语句
 *   *  1）等值 Join
     *  1）案例实操
 *  十二 表的别名
 *   *  1）好处
     *  2）案例实操
 *  十三 内连接
 *  十四 左外连接
 *  十五 右外连接
 *  十六 满外连接
 *  十七 多表连接
 *   *  1）创建位置表
     *  2）导入数据
     *  3）多表连接查询
 *  十八 笛卡尔积
 *   *  1）笛卡尔集会在下面条件下产生
     *  2）案例实操
 *  十九 排序
 *   *  1、全局排序（Order By）
     *   *  1）使用 ORDER BY 子句排序
         *  2）ORDER BY 子句在 SELECT 语句的结尾
         *  3）案例实操
         *   *  （1）查询员工信息按工资升序排列
             *  （2）查询员工信息按工资降序排列
 *  二十 按照别名排序
 *  二十一 多个列排序
 *  二十二 每个 Reduce 内部排序（Sort By）
 *   *  1）设置 reduce 个数
     *  2）查看设置 reduce 个数
     *  3）根据部门编号降序查看员工信息
     *  4）将查询结果导入到文件中（按照部门编号降序排序）
 *  二十三 分区（Distribute By）
 *  1）简介
 *   *  2）案例实操
     *  3）Cluster By

# 一 在线文档 #

## 1、地址连接 ##

[文档地址][Link 1]

## 2、查询语句语法： ##

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table_reference
    [WHERE where_condition]
    [GROUP BY col_list]
    [ORDER BY col_list]
    [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
    ]
    [LIMIT number]

# 二 基本查询（Select…From） #

## 1、全表和特定列查询 ##

### 0）数据准备 ###

（0）原始数据  
dept:

> 10 ACCOUNTING 1700  
> 20 RESEARCH 1800  
> 30 SALES 1900  
> 40 OPERATIONS 1700

emp

7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
    7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
    7566 JONES MANAGER 7839 1981-4-2 2975.00 20
    7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
    7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
    7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
    7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
    7839 KING PRESIDENT 1981-11-17 5000.00 10
    7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
    7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
    7900 JAMES CLERK 7698 1981-12-3 950.00 30
    7902 FORD ANALYST 7566 1981-12-3 3000.00 20
    7934 MILLER CLERK 7782 1982-1-23 1300.00 10

（1）创建部门表

create table if not exists dept(
    deptno int,
    dname string,
    loc int
    )
    row format delimited fields terminated by '\t';

（2）创建员工表

create table if not exists emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string, 
    sal double, 
    comm double,
    deptno int)
    row format delimited fields terminated by '\t';

（3）导入数据

load data local inpath '/opt/module/datas/dept.txt' into table
    dept;
    load data local inpath '/opt/module/datas/emp.txt' into table emp;

### 1）全表查询 ###

hive (default)> select * from emp;
    hive (default)> select empno,ename,job,mgr,hiredate,sal,comm,deptno from 
    emp ;

### 2）选择特定列查询 ###

hive (default)> select empno, ename from emp;

注意： 
    （1）SQL 语言大小写不敏感。
    （2）SQL 可以写在一行或者多行
    （3）关键字不能被缩写也不能分行
    （4）各子句一般要分行写。
    （5）使用缩进提高语句的可读性。

# 三 列别名 #

## 1）重命名一个列 ##

## 2）便于计算 ##

## 3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’ 4）案例实操 ##

hive (default)> select ename AS name, deptno dn from emp;

# 四 算术运算符 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]  
案例实操：查询出所有员工的薪水后加 1 显示。

hive (default)> select sal +1 from emp;

# 五 常用函数 #

## 1）求总行数（count） ##

hive (default)> select count(*) cnt from emp;

## 2）求工资的最大值（max） ##

hive (default)> select max(sal) max_sal from emp;

## 3）求工资的最小值（min） ##

hive (default)> select min(sal) min_sal from emp;

## 4）求工资的总和（sum） ##

hive (default)> select sum(sal) sum_sal from emp;

## 5）求工资的平均值（avg） ##

hive (default)> select avg(sal) avg_sal from emp;

# 六 Limit 语句 #

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;

hive (default)> select * from emp limit 2;

# 七 Where 语句 #

## 1）使用 WHERE 子句，将不满足条件的行过滤掉 ##

## 2）WHERE 子句紧随 FROM 子句 ##

## 3）案例实操 ##

查询出薪水大于 1000 的所有员工

hive (default)> select * from emp where sal >1000;

注意：where 子句中不能使用字段别名。

# 八 比较运算符（Between/In/ Is Null） #

## 1）下面表中描述了谓词操作符，这些操作符同样可以用于 JOIN…ON 和 HAVING 语句中。 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]

## 2）案例实操 ##

### （1）查询出薪水等于 5000 的所有员工 ###

hive (default)> select * from emp where sal =5000;

### （2）查询工资在 500 到 1000 的员工信息 ###

hive (default)> select * from emp where sal between 500 and 1000;

### （3）查询 comm 为空的所有员工信息 ###

hive (default)> select * from emp where comm is null;

### （4）查询工资是 1500 或 5000 的员工信息 ###

hive (default)> select * from emp where sal IN (1500, 5000);

# 九 Like 和 RLike #

## 1）使用 LIKE 运算选择类似的值 ##

## 2）选择条件可以包含字符或数字 ##

% 代表零个或多个字符(任意个字符)。
    _ 代表一个字符。

## 3）RLIKE 子句 ##

RLIKE 子句是 Hive 中这个功能的一个扩展，其可以通过 Java 的正则表达式这个更强大
    的语言来指定匹配条件。

## 4）案例实操 ##

### （1）查找名字以 A 开头的员工信息 ###

hive (default)> select * from emp where ename LIKE 'A%';

### （2）查找名字中第二个字母为 A 的员工信息 ###

hive (default)> select * from emp where ename LIKE '_A%';

### （3）查找名字中带有 A 的员工信息 ###

hive (default)> select * from emp where ename RLIKE '[A]';

# 十 逻辑运算符（And/Or/Not） #

![在这里插入图片描述][b61eb8d99663422d82aef24016156b18.png]

## 1）案例实操 ##

### （1）查询薪水大于 1000，部门是 30 ###

hive (default)> select * from emp where sal>1000 and deptno=30;

### （2）查询薪水大于 1000，或者部门是 30 ###

> hive (default)> select \* from emp where sal>1000 or deptno=30;

### （3）查询除了 20 部门和 30 部门以外的员工信息 ###

hive (default)> select * from emp where deptno not IN(30, 20);

# 十一 分组 #

> GROUP BY 语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然  
> 后对每个组执行聚合操作。

## 1）案例实操 ##

### （1）计算 emp 表每个部门的平均工资 ###

hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by 
    t.deptno;

### （2）计算 emp 每个部门中每个岗位的最高薪水 ###

hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t 
    group by
    t.deptno, t.job;

## 2）Having 语句 ##

### 1）having 与 where 不同点 ###

（1）where 后面不能写分组函数，而 having 后面可以使用分组函数。
    （2）having 只用于 group by 分组统计语句。

### 2）案例实操 ###

（1）求每个部门的平均薪水大于 2000 的部门  
求每个部门的平均工资

hive (default)> select deptno, avg(sal) from emp group by deptno;

求每个部门的平均薪水大于 2000 的部门

hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno 
    having avg_sal > 2000;

# 十一 Join 语句 #

## 1）等值 Join ##

Hive 支持通常的 SQL JOIN 语句。

## 1）案例实操 ##

（1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称；

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

# 十二 表的别名 #

## 1）好处 ##

（1）使用别名可以简化查询。
    （2）使用表名前缀可以提高执行效率

## 2）案例实操 ##

合并员工表和部门表

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d 
    on e.deptno = d.deptno;

# 十三 内连接 #

内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d 
    on e.deptno = d.deptno;

# 十四 左外连接 #

左外连接：JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e left join 
    dept d on e.deptno = d.deptno;

# 十五 右外连接 #

右外连接：JOIN 操作符右边表中符合 WHERE 子句的所有记录将会被返回

hive (default)> select e.empno, e.ename, d.deptno from emp e right join 
    dept d on e.deptno = d.deptno;

# 十六 满外连接 #

满外连接：将会返回所有表中符合 WHERE 语句条件的所有记录。如果任一表的指定字
    段没有符合条件的值的话，那么就使用 NULL 值替代。

hive (default)> select e.empno, e.ename, d.deptno from emp e full join 
    dept d on e.deptno = d.deptno;

# 十七 多表连接 #

注意：连接 n 个表，至少需要 n-1 个连接条件。例如：连接三个表，至少需要两个连接  
条件。

数据准备

1700 Beijing
    1800 London
    1900 Tokyo

## 1）创建位置表 ##

create table if not exists location(
    loc int,
    loc_name string
    )
    row format delimited fields terminated by '\t';

## 2）导入数据 ##

hive (default)> load data local inpath '/opt/module/datas/location.txt' 
    into table location;

## 3）多表连接查询 ##

hive (default)>SELECT e.ename, d.dname, l.loc_name
    FROM emp e 
    JOIN dept d
    ON d.deptno = e.deptno 
    JOIN location l
    ON d.loc = l.loc;

> 大多数情况下，Hive 会对每对 JOIN 连接对象启动一个 MapReduce 任务。本例中会首先  
> 启动一个 MapReduce job 对表 e 和表 d 进行连接操作，然后会再启动一个 MapReduce job 将  
> 第一个 MapReduce job 的输出和表 l;进行连接操作。

> 注意：为什么不是表 d 和表 l 先进行连接操作呢？这是因为 Hive 总是按照从左到右的  
> 顺序执行的。

> 优化：当对 3 个或者更多表进行 join 连接时，如果每个 on 子句都使用相同的连接键的  
> 话，那么只会产生一个 MapReduce job。

# 十八 笛卡尔积 #

## 1）笛卡尔集会在下面条件下产生 ##

（1）省略连接条件  
（2）连接条件无效  
（3）所有表中的所有行互相连接

## 2）案例实操 ##

hive (default)> select empno, dname from emp, dept;

# 十九 排序 #

## 1、全局排序（Order By） ##

Order By：全局排序，只有一个 Reducer

### 1）使用 ORDER BY 子句排序 ###

ASC（ascend）: 升序（默认）  
DESC（descend）: 降序

### 2）ORDER BY 子句在 SELECT 语句的结尾 ###

### 3）案例实操 ###

#### （1）查询员工信息按工资升序排列 ####

hive (default)> select * from emp order by sal;

#### （2）查询员工信息按工资降序排列 ####

hive (default)> select * from emp order by sal desc;

# 二十 按照别名排序 #

按照员工薪水的 2 倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

# 二十一 多个列排序 #

按照部门和工资升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal;

# 二十二 每个 Reduce 内部排序（Sort By） #

> Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排  
> 序，此时可以使用 sort by。  
> Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集  
> 来说不是排序。

## 1）设置 reduce 个数 ##

hive (default)> set mapreduce.job.reduces=3;

## 2）查看设置 reduce 个数 ##

hive (default)> set mapreduce.job.reduces;

## 3）根据部门编号降序查看员工信息 ##

hive (default)> select * from emp sort by deptno desc;

## 4）将查询结果导入到文件中（按照部门编号降序排序） ##

hive (default)> insert overwrite local directory 
    '/opt/module/data/sortby-result'
    select * from emp sort by deptno desc;

# 二十三 分区（Distribute By） #

# 1）简介 #

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为
    了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition
    （自定义分区），进行分区，结合 sort by 使用。

> 对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute  
> by 的效果

## 2）案例实操 ##

（1）先按照部门编号分区，再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
    hive (default)> insert overwrite local directory 
    '/opt/module/data/distribute-result' select * from emp distribute by 
    deptno sort by empno desc;

注意：

➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，
    余数相同的分到一个区。
     ➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

## 3）Cluster By ##

> 当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。

> cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序  
> 排序，不能指定排序规则为 ASC 或者 DESC。

（1）以下两种写法等价

hive (default)> select * from emp cluster by deptno;
    hive (default)> select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一  
个分区里面去。

[Link 1]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/d73da6eb596b488d85020597e41c8d13.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/ff8f3dc4779a42a5b3c544d7536374f5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/204822e26edf4750a4a1d3ce6a4e970e.png
[b61eb8d99663422d82aef24016156b18.png]: /images/20220829/43f38f56e5b747ea924b04d5aa361add.png