修炼离线：（五）hbase映射表插入hive

约定不等于承诺〃 2024-03-02 09:10 65阅读 0赞

## 一：创建hive表。 ##

sql
    --drop table if exists ods.odsyyy;
    create table if not exists ods.odsfff(
         row_id                    string        comment    '行记录唯一ID,对应ROW_KEY'
        ,aaa string        comment    'aaa'
        ,bbb string        comment    'bbb'
        ,ccc string        comment    'ccc'
        ,ddd string        comment    'ddd'
        ,create_time		comment    '创建时间'
        ,edit_time			comment    '更新时间'
    )comment 'ods层数xxxx'
    partitioned by (p_dt string comment '分区日期(yyyy-MM-dd)')
    row format delimited
        fields terminated by '\t'
        collection items terminated by '\n'
    stored as orc;`

## 二：将数据插入表。 ##

insert overwrite table ods.odsyyy partition(p_dt='${dealDate}')
    select
        a.row_id
         ,a.aaa
         ,a.bbb
         ,a.ccc
         ,a.ddd
         ,a.create_time
         ,a.edit_time
    from ods.ods_yyy_hb as a
    WHERE (coalesce(to_date(a.create_time),'${dealDate}') <= '${dealDate}'
        or coalesce(to_date(a.edit_time),'${dealDate}') <= '${dealDate}')

发表评论取消回复

表情：

评论列表（有 0 条评论，65人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive映射Hbase

依赖条件已有Hadoop、Hive、Zookeeper、HBase 环境。为什么Hive要映射Hbase HBase 只提供了简单的基于 Key 值的快

喜欢ヅ旅行/ 2024年03月26日 19:19/ 0 赞/ 72 阅读

相关修炼离线：（七）sqoop同步MySQL数据到hive

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

约定不等于承诺〃/ 2024年03月02日 09:15/ 0 赞/ 70 阅读

相关修炼离线：（六）hive通过sqoop同步数据到mysql

一：同步脚本。 !/bin/sh mysqlHost=$1 mysqlUserName=$2 mysqlUserPass=$3

超、凢脫俗/ 2024年03月02日 09:14/ 0 赞/ 64 阅读

相关修炼离线：（五）hbase映射表插入hive

一：创建hive表。 sql --drop table if exists ods.odsyyy; create table if not exi

约定不等于承诺〃/ 2024年03月02日 09:10/ 0 赞/ 66 阅读

相关修炼离线：（四）创建hbase映射表到hive

create database ods; -- drop table if exists ods.ods_yyy_hb; create externa

男娘i/ 2024年03月02日 03:33/ 0 赞/ 65 阅读

相关修炼离线：（二）sqoop插入hbase 脚本（增量）

一：mysql创建表，插入数据。二：hbase创建表。 habse shell create 'aa'(表名),'cf'(列族) 三：mysq

た入场券/ 2024年03月02日 03:26/ 0 赞/ 49 阅读

相关修炼离线：（三）sqoop插入hbase 报错权限问题

一：报错现象。 ![在这里插入图片描述][f6613ed71a4a452a8d1cc9d9c5c9c440.png] ![在这里插入图片描述][09b41b1e38f

男娘i/ 2024年03月02日 03:24/ 0 赞/ 24 阅读

相关 Hive与 Hbase 的映射，连接

Hive与 Hbase 的整合一、介绍 1.1 原因二、文件配置 2.1 导入依赖 (master)

小咪咪/ 2023年01月16日 02:43/ 0 赞/ 103 阅读

相关 Hive与HBase映射表实现大数据的增量操作

先说下使用场景： HIve有Orc表可以增删改但是每一个事务执行的速度很慢不适合于高并发的场景。我之前mysql同步hadoop 创建了hive事务表但是效

清疚/ 2022年05月31日 04:44/ 0 赞/ 134 阅读

相关 Hive使用ORC格式存储离线表

\[size=medium\] 在大数据时代，列式存储变得越来越流行了，当然并不是说行式存储就没落了，只是针对的场景不同，行式存储的代表就是我们大多数时候经常用的数据库，比

港控/mmm°/ 2022年04月12日 12:46/ 0 赞/ 526 阅读