HDFS删除文件

╰半橙微兮° 2022-11-07 04:05 160阅读 0赞

# 一.删除HDFS上的文件 #

需求:删除HDFS上的一个文件

代码:

-- 查看文件
    hadoop fs -ls /user/hive/warehouse
    -- 删除文件
    hadoop fs -rm  /user/hive/warehouse/test.txt

测试记录:

[root@hp1 hue-httpd]# hadoop fs -ls /user/hive/warehouse
    Found 2 items
    drwxrwxrwt   - root hive          0 2020-11-25 19:15 /user/hive/warehouse/test.db
    -rw-rw-rw-   3 root hive         16 2020-11-25 14:53 /user/hive/warehouse/test.txt
    [root@hp1 hue-httpd]# 
    [root@hp1 hue-httpd]# hadoop fs -rm /user/hive/warehouse/test.txt
    20/11/26 10:35:24 INFO fs.TrashPolicyDefault: Moved: 'hdfs://nameservice1/user/hive/warehouse/test.txt' to trash at: hdfs://nameservice1/user/root/.Trash/Current/user/hive/warehouse/test.txt
    [root@hp1 hue-httpd]# 
    [root@hp1 hue-httpd]# hadoop fs -ls /user/root/.Trash/Current/user/hive/warehouse/
    Found 1 items
    -rw-rw-rw-   3 root hive         16 2020-11-25 14:53 /user/root/.Trash/Current/user/hive/warehouse/test.txt

从上面测试的记录可以看到， 从hdfs上删除的文件，并没有直接被删除，而是移动到了回收站。  
如果需要跳过回收站，直接删除，可以使用-skipTrash参数

-- 跳过回收站  直接进行删除
    hadoop fs -rm -skipTrash /user/hive/warehouse/test.txt

# 二.HDFS的回收站 #

生产环境的hive中，经常大批量的加载及运算数据，例如清理一些临时表。但是清理了表之后，发现hdfs的空间并没有相对应的减少。如果需要收缩空间，可以考虑清空回收站。

**生产环境谨慎使用，容易出问题**

-- 清空hdfs的回收站
    hdfs dfs -expunge

测试记录:  
因为root权限不够，先通过sudo -u hdfs 切换到hdfs用户下

[root@hp1 hue-httpd]# sudo -u hdfs hdfs  dfs -expunge     
    [root@hp1 hue-httpd]#

# 参考 #

1.《Hadoop权威指南》  
2.https://blog.csdn.net/abyslll/article/details/88313961

发表评论取消回复

表情：

评论列表（有 0 条评论，160人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS删除文件

一.删除HDFS上的文件需求:删除HDFS上的一个文件代码: -- 查看文件 hadoop fs -ls /user/hive/warehouse

╰半橙微兮°/ 2022年11月07日 04:05/ 0 赞/ 161 阅读

相关 Python解析HDF文件

前段时间因为一个业务的需求需要解析一个HDF格式的文件。在这之前也不知道到底什么是HDF文件。百度百科的解释如下： > HDF是用于存储和分发科学数据的一种自我描述、多对象文

谁借莪１个温暖的怀抱￠/ 2022年08月01日 12:29/ 0 赞/ 190 阅读

相关 HDFS文件存储组织

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。 2、文件数据的存储组织 ①HDFS中最主要的部分就是NameNod

雨点打透心脏的1/2处/ 2022年07月24日 10:25/ 0 赞/ 203 阅读

相关 hdfs文件操作

常用操作命令查看目录 hadoop fs -ls / 创建文件夹 hadoop fs -mkdir /文件夹名往里塞文件 hadoop fs -put 本地文件地

逃离我推掉我的手/ 2022年06月07日 06:28/ 0 赞/ 249 阅读

相关 hdfs 文件的追加

1、修改hdfs-site.xml Java代码 ![收藏代码][icon_star.png] 1. <property> 2. lt

爱被打了一巴掌/ 2022年06月03日 10:38/ 0 赞/ 415 阅读

相关分布式文件系统HDFS

1.1简介 HDFS实现目标兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型

太过爱你忘了你带给我的痛/ 2022年06月02日 06:54/ 0 赞/ 272 阅读

相关 Hadoop服务hdfs上文件文件的删除和查询

一：linux上进行上传下载查询操作首先将Hadoop服务启动将master,slave1,slave2三台虚拟机启动在master上启动Hadoop服务 > .

柔情只为你懂/ 2022年03月26日 10:29/ 0 赞/ 539 阅读

相关 HDFS API 操作之文件下载、文件删除、文件名更改

文件下载 @Test public void testCopyToLocalFile() throws Exception {

拼搏现实的明天。/ 2022年02月25日 12:52/ 0 赞/ 352 阅读

相关分布式文件系统-HDFS

HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed

浅浅的花香味﹌/ 2022年01月07日 04:57/ 0 赞/ 307 阅读

相关 HDFS FsImage文件

![1722024-20190726134137775-1101024804.png][] 转载于:https://www.cnblogs.com/fanweisheng/p

小灰灰/ 2021年11月23日 12:56/ 0 赞/ 258 阅读