大数据Spark SQL常用语言

今天药忘吃喽~ 2023-07-21 11:11 7阅读 0赞

*  建表

-- 分区表建表
    create table if not exists project1.test1_liqb_dt (
        id bigint comment 'id',
        name string comment '姓名'
    )partitioned by (
        ds bigint comment '日分区')
    comment 'test'
    lifecycle  31  ;
    
    -- 非分区表建表
    create table if not exists project1.test1_liqb (
        id bigint comment 'id',
        name string comment '姓名'
    )comment 'test'
    lifecycle  31  ;

*  展示表属性，展示表信息，展示表分区

# 显示表属性
    desc test1_liqb_dt;
    # 显示表分区
    show partitions test1_liqb_dt;

*  插入，重写，删除数据，删除分区，分区值改名

-- 重写数据
    INSERT OVERWRITE TABLE test1_liqb_dt PARTITION(ds=20191229) 
    SELECT id,name,rq FROM project1.test1_liqb_dt;
    
    -- 追加数据
    INSERT INTO TABLE test1_liqb_dt PARTITION(ds=20191229) 
    SELECT id,name,rq FROM project1.test1_liqb_dt;
    
    -- 删除表
    drop table project1.test1_liqb_dt;
    
    -- 删除/添加表分区
    alter table project1.test1_liqb_dt drop/add partition (ds = 20191230);
    
    -- 更改分区值名
    alter table test1_liqb_dt partition (ds=20191230) rename to partition(ds=20200101);

需要注意的是，sparksql不支持delete和update操作，但我们可以变相用overwrite实现update，delete，比如这里删除id为1的数据，则可以自己overwrite自己

-- delete操作
    INSERT OVERWRITE TABLE test1_liqb_dt PARTITION(ds=20191229) 
    SELECT id,name,rq FROM project1.test1_liqb_dt
    WHERE ds = 20191229 
    AND id <> 1;

*  通过文本文件上传下载数据

-- 数据上传：通过临时表的形式进行数据上传，分区表与非分区表多了一个partition
    load data '/user/datacompute/hhy_dw/resources/13592/latest/travelimage.csv' table tdl_spark_test options( delimiter=',');
    insert overwrite table hhy_dw.ods_chg_rt_dfs_gantry_travelimage_dt partition(ds=20200330) select * from tdl_spark_test;
    
    -- 数据下载：导出到文件再在平台下载
    create table tdl_0_0111 lifecycle 1 select id,name from project.table1;
    export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');

数据传输详情见我之前的博客：[https://blog.csdn.net/mochou111/article/details/104840700][https_blog.csdn.net_mochou111_article_details_104840700]

*  UDF：如何配置udf见：[https://blog.csdn.net/mochou111/article/details/105296143][https_blog.csdn.net_mochou111_article_details_105296143]

select getHZ('FHK匹配JS汉字123fds符合东方  *** 飞机的回复、31 3256323232若峰的算法555555%%%7,,,   ');

[https_blog.csdn.net_mochou111_article_details_104840700]: https://blog.csdn.net/mochou111/article/details/104840700
[https_blog.csdn.net_mochou111_article_details_105296143]: https://blog.csdn.net/mochou111/article/details/105296143