hive按当天日期建立分区表 | 动态往日期分区插入数据

清疚 2023-07-13 04:11 23阅读 0赞

hive建立分区表，以当天日期（“2014-08-15”）作为分区依据，hql如下：

CREATE EXTERNAL TABLE IF NOT EXISTS product\_sell(  
category\_id BIGINT,  
province\_id BIGINT,  
product\_id BIGINT,  
price DOUBLE,  
sell\_num BIGINT  
)  
PARTITIONED BY (ds string)  
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '\\t'  
LINES TERMINATED BY '\\n'  
STORED AS TEXTFILE;

然后以日期作为分区依据，插入数据，shell脚本如下：

\#!/bin/bash  
source /etc/profile;

yesterday=$(date -d '-1 day' '+%Y-%m-%d')  
lastweek=$(date -d '-1 week' '+%Y-%m-%d')

/usr/local/cloud/hive/bin/hive<<EOF   
INSERT OVERWRITE TABLE product\_sell PARTITION (ds='$yesterday') select a.category\_id, b.good\_receiver\_province\_id as province\_id, a.id as product\_id, (b.sell\_amount/b.sell\_num) as price, b.sell\_num from product a join (select si.product\_id, s.good\_receiver\_province\_id, sum(si.order\_item\_amount) sell\_amount, sum(si.order\_item\_num) sell\_num from so\_item si join so s on (si.order\_id=s.id) where si.is\_gift=0 and si.is\_hidden=0 and si.ds between '$lastweek' and '$yesterday' group by s.good\_receiver\_province\_id, si.product\_id) b on (a.id=b.product\_id);  
EOF这个部分难点在于hive中不知道如何调用形如shell日期变量的方式创建日期分区，mark一下！

发表评论取消回复

表情：

评论列表（有 0 条评论，23人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive按当天日期建立分区表 | 动态往日期分区插入数据

hive建立分区表，以当天日期（“2014-08-15”）作为分区依据，hql如下： CREATE EXTERNAL TABLE IF NOT EXISTS product\

清疚/ 2023年07月13日 04:11/ 0 赞/ 24 阅读

相关 Hive动态分区

1.创建表 create table dept_no_par(dname string,loc string) partitioned by (deptno

水深无声/ 2023年01月18日 12:23/ 0 赞/ 89 阅读

相关 hive 动态分区

[前面文章][Link 1]介绍了Hive中是支持分区的。关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分

叁歲伎倆/ 2022年06月06日 02:24/ 0 赞/ 282 阅读

相关 hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入实验步骤 1. 在本地文件/home/grid/a.tx

深藏阁楼爱情的钟/ 2022年06月05日 06:13/ 0 赞/ 309 阅读

相关 hive使用动态分区插入数据详解

往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive

痛定思痛。/ 2022年05月24日 04:09/ 0 赞/ 253 阅读

相关 Hive动态分区表使用

1.有时候为了更方便地根据某个时间字段来进行增量更新数据，我们可以使用分区。而相对来说，这种时候用动态分区会多一些。 2.首先，先进入Hive命令行，输入一下的设置，打开动态

亦凉/ 2022年03月16日 11:08/ 0 赞/ 343 阅读

相关 hive 将一个分区表数据全部插入另外一个分区表

假如现在hive有个分区表A，分区字段为dt 需求是：需要将A表中的数据全部插入到分区表B中具体步骤如下： 1.create B like A； 2.插入数据 se

系统管理员/ 2022年01月14日 03:19/ 0 赞/ 414 阅读

相关【hive创建动态分区】hive使用动态分区插入数据详解

【hive创建动态分区】hive使用动态分区插入数据详解往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去

以你之姓@/ 2021年12月19日 00:41/ 0 赞/ 399 阅读

相关【hive创建动态分区】使用MSCK命令修复Hive表分区

【hive创建动态分区】使用MSCK命令修复Hive表分区一、介绍我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候

电玩女神/ 2021年12月19日 00:37/ 0 赞/ 576 阅读

相关 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

缺乏、安全感/ 2021年06月24日 14:37/ 0 赞/ 620 阅读