hive执行更新和删除操作

太过爱你忘了你带给我的痛 2022-08-30 12:54 251阅读 0赞

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。

**一、Hive具有ACID语义事务的使用场景**  
1. 流式接收数据。  
许多用户使用诸如Apache Flume、Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群。当这些工具以每秒数百行的频率写入时，Hive也许只能每15分钟到1小时添加一个分区，因为过于频繁地添加分区很快就会使一个表中的分区数量难以维护。而且这些工具还可能向已存在的分区中写数据，但是这样将会产生脏读（可能读到查询开始时间点以后写入的数据），还在这些分区的所在目录中遗留大量小文件，进而给NameNode造成压力。在这个使用场景下，事务支持可以获得数据的一致性视图同时避免产生过多的文件。  
  
2. 缓慢变化维。  
在一个典型的星型模式数据仓库中，维度表随时间的变化很缓慢。例如，一个零售商开了一家新商店，需要将新店数据加到商店表，或者一个已有商店的营业面积或其它需要跟踪的特性改变了。这些改变会导致插入或修改个别记录。从0.14版本开始，Hive支持行级更新。  
  
3. 数据重述。  
有时发现数据集合有错误并需要更正。或者当前数据只是个近似值（如只有全部数据的90%，得到全部数据会滞后）。或者业务业务规则可能需要根据后续事务重述特定事务（打个比方，一个客户购买了一些商品后又购买了一个会员资格，此时可以享受折扣价格，包括先前购买的商品）。或者一个客户可能按照合同在终止了合作关系后要求删除他们的客户数据。从Hive 0.14开始，这些使用场景可以通过INSERT、UPDATE和DELETE支持。

**二、配置Hive支持事务（Hive 2.0版）**

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

<property>
        <name>hive.support.concurrency</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
    </property>
    <property>
        <name>hive.txn.manager</name>
        <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
    </property>
    <property>
        <name>hive.compactor.initiator.on</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.compactor.worker.threads</name>
        <value>1</value>
    </property>

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

-- 建立非分区表并加载数据
    CREATE TABLE t1 (id INT, name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  
    LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;  
    SELECT * FROM t1;
    
    -- 建立外部分区事务表并加载数据
    CREATE EXTERNAL TABLE t2 (id INT, name STRING) PARTITIONED BY (country STRING, state STRING)
    CLUSTERED BY (id) INTO 8 BUCKETS
    STORED AS ORC TBLPROPERTIES ('transactional'='true');
    INSERT INTO T2 PARTITION (country, state) SELECT * FROM T1;
    SELECT * FROM t2;
    
    -- 修改数据
    INSERT INTO TABLE t2 PARTITION (country, state) VALUES (5,'刘','DD','DD');
    UPDATE t2 SET name='张' WHERE id=1;
    DELETE FROM t2 WHERE name='李四';
    SELECT * FROM t2;

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

在hdfs上可以看到这些分桶之后的文件但是文件直接查看会乱码,需要借助命令,参考https://orc.apache.org/docs/hive-ddl.html

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

To get information about an ORC file, use the orcfiledump command.
    
    % hive --orcfiledump <path_to_file>
    
    As of Hive 1.1, to display the data in the ORC file, use:
    
    % hive --orcfiledump -d <path_to_file>

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

下面是遇到的两个问题,解决办法是修改配置文件支持事务,第二重新建表修改表的存储格式和添加表属性**STORED AS ORC TBLPROPERTIES ('transactional'='true'); **

Attempt to do update or delete using transaction manager that does not support these operations.

Attempt to do update or delete on table mydb.stu_p that does not use an AcidOutputFormat or is not bucketed

**总结,如果需要使用hive那么需要在创建表的时候声明STORED AS ORC TBLPROPERTIES ('transactional'='true'); ,我们使用的默认的TEXTFILE格式是不支持的,**

**ORC格式文件的数据也不是直接导入的,而是从已经有的额表中查询并插入的**

[48304ba5e6f9fe08f3fa1abda7d326ab.png]: /images/20220829/0439157556af46ea934721fc85baf2df.png

发表评论取消回复

表情：

评论列表（有 0 条评论，251人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python字典操作：查找、更新和删除字典元素

在Python中，字典是一种可变的数据结构，可以存储键值对。对于字典的查找、更新和删除操作，以下是具体的步骤： 1. 查找（获取或检查键是否存在）： ```python #

浅浅的花香味﹌/ 2025年02月03日 08:21/ 0 赞/ 46 阅读

相关 Python字典操作：查找、更新和删除？

在Python中，字典是一种可变容器模型，且允许存储任意类型对象。以下是关于查找、更新和删除字典元素的详细方法： 1. 查找（get）： - `key`：需要查找的键。

小鱼儿/ 2025年01月25日 08:18/ 0 赞/ 39 阅读

相关 Python字典操作：高效查找、更新和删除方法

在Python中，字典是一种可变容器模型，它用键（key）来存储值（value）。以下是一些字典的操作： 1. **查找（get）**： - `dict.get(key

- 日理万妓/ 2025年01月14日 21:57/ 0 赞/ 97 阅读

相关 Python字典操作：查找、更新和删除

在Python中，字典是一种可变容器模型，用于存储无序的键值对。以下是对字典的查找、更新和删除的操作： 1. 查找（获取或检查键的值）： ```python # 获取键对应的

悠悠/ 2025年01月09日 21:06/ 0 赞/ 70 阅读

相关 mybatis-plus更新及删除操作

一、更新。 1、根据id更新 ![29efae1027004dcd81e87a4fd119462f.png][] 2、根据条件更新 1>querywrapper：设置条

灰太狼/ 2023年10月11日 21:19/ 0 赞/ 101 阅读

相关 MybatisPlus批量操作（插入、删除、更新）

MP的BaseMapper没有提供批量的DML操作。但是在`IService`接口中却定义了这些常用操作定义一个接口 import com.baomido

待我称王封你为后i/ 2022年11月10日 05:30/ 0 赞/ 344 阅读

相关更新数据，删除缓存，更新数据库谁先执行

1.先更新数据库，再删除缓存 2.先删除缓存，再更新数据库答案：方案1 方案2存在问题查询与更新并发，更新操作先删除了缓存，还未更新数据库，查询操作未取到缓存，直接

「爱情、让人受尽委屈。」/ 2022年09月11日 14:18/ 0 赞/ 339 阅读

相关 hive执行更新和删除操作

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一

太过爱你忘了你带给我的痛/ 2022年08月30日 12:54/ 0 赞/ 252 阅读

相关更新和删除数据

更新数据，即对表中存在的数据进行修改。 SQL语句： UPDATE 语句基本语法： UPDATE 表名 SET 字段名1=值1[,字

比眉伴天荒/ 2022年05月23日 05:55/ 0 赞/ 383 阅读

相关更新和删除数据

1.DELETE 语句的基本格式如下所示 DELETE FROM tbl_name WHERE which rows to delete; 其中，WHERE子句

骑猪看日落/ 2022年05月07日 20:58/ 0 赞/ 254 阅读