【Hadoop-HDFS】HDFS常用操作命令

た入场券 2023-10-08 23:46 59阅读 0赞

#### 【Hadoop-HDFS】HDFS常用操作命令 ####

*  1）显示目录信息（-ls）
 *  1）在 HDFS 上创建目录（-mkdir）
 *  2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）
 *  3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put）
 *  4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get）
 *  5）在 HDFS 里拷贝文件路径到另一个路径上（-cp）
 *  6）追加文件到 HDFS 里的文件末尾（-appendToFile）
 *  7）显示文件内容（-cat）
 *  8）修改文件所属权限（-chmod）
 *  9）移动文件（-mv）
 *  10）从 HDFS 里合并下载多个文件到本地（-getmerge）
 *  11）删除文件或文件夹（-rm）
 *  12）设置 HDFS 中文件的副本数量（-setrep）
 *  13）查看 HDFS 目录数据量（-du）
 *  14）创建一个零长度的文件（-touchz）
 *  15）显示文件所占块数（-stat）
 *  16）显示文件的最后1kb内容到标准输出（-tail）
 *  17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count）
 *  18）从 HDFS 上过滤包含某个字符的行内容（-grep）

## 1）显示目录信息（-ls） ##

`hadoop fs -ls /`

## 1）在 HDFS 上创建目录（-mkdir） ##

普通创建：`hadoop fs -mkdir /xiaolin`

递归创建：`hadoop fs -mkdir -p /xiaolin/xiaoyin`

## 2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal） ##

`mkdir xuan.txt`

`hadoop fs -moveFromLocal xuan.txt /xiaolin`

## 3）把本地文件复制到 HDFS 上（-copyFromLocal 或者 -put） ##

`hadoop fs -copyFromLocal xuan.txt /`

`hadoop fs -put xuan.txt /`

## 4）从 HDFS 复制文件到本地上（-copyToLocal 或者 -get） ##

`hadoop fs -copyToLocal /xiaolin ./`

`hadoop fs -get /xiaolin ./`

## 5）在 HDFS 里拷贝文件路径到另一个路径上（-cp） ##

`hadoop fs -mkdir /xiaona`

`hadoop fs -cp /xiaolin/xuan.txt /xiaona/`

## 6）追加文件到 HDFS 里的文件末尾（-appendToFile） ##

`vim zero.txt`

`hadoop fs -appendToFile zero.txt /xiaolin/xuan.txt`

## 7）显示文件内容（-cat） ##

`hadoop fs -cat /xiaolin/xuan.txt`

## 8）修改文件所属权限（-chmod） ##

`hadoop fs -chmod 777 /xiaolin/xuan.txt`

## 9）移动文件（-mv） ##

`hadoop fs -mv /xiaolin/xuan.txt /xiaolin/xiaoyin`

## 10）从 HDFS 里合并下载多个文件到本地（-getmerge） ##

`hadoop fs -getmerge /xiaolin/* ./`

## 11）删除文件或文件夹（-rm） ##

`hadoop fs -rm /xiaolin/xiaoyin`

## 12）设置 HDFS 中文件的副本数量（-setrep） ##

`hadoop fs -setrep 5 /xiaolin/xuan.txt`

## 13）查看 HDFS 目录数据量（-du） ##

`Usage：hdfs dfs -du [-s] [-h] URI [URI …]`

\-s选项将显示文件长度的汇总摘要，而不是单个文件。

\-h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）

## 14）创建一个零长度的文件（-touchz） ##

`hdfs dfs -touchz URI [URI …]`

## 15）显示文件所占块数（-stat） ##

`Usage：hdfs dfs -stat URI [URI …]`

(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)

## 16）显示文件的最后1kb内容到标准输出（-tail） ##

`Usage：hdfs dfs -tail [-f] URI`

## 17）统计与指定文件模式匹配的路径下的目录文件和字节数（-count） ##

`Usage: hdfs dfs -count [-q] [-h] < paths>`

## 18）从 HDFS 上过滤包含某个字符的行内容（-grep） ##

`Usage：hdfs dfs -cat < srcpath> | grep 过滤字段`

发表评论取消回复

表情：

评论列表（有 0 条评论，59人围观）

还没有评论，来说两句吧...

相关阅读

相关 vim常用操作命令

-------------------- 写在前面的话： vim的使用和学习，就是在你知道常用的操作后能够经常的使用和练习就可以了。如果你只是想做运维这个方面，就算是作为一

た入场券/ 2022年12月29日 04:51/ 0 赞/ 257 阅读

相关 Git常用操作命令

1.生成git公钥 ssh-keygen -t rsa -C "xxxxx@xxxxx.com" 注意：这里的 `xxxxx@xxxxx.com` 只是生成的 ss

柔光的暖阳◎/ 2022年11月21日 01:24/ 0 赞/ 266 阅读

相关 DOS常用操作命令

DOS常用操作命令若要联机帮助，则在DOS状态下，命令/? 如dir/? 系统会显示dir命令的各种参数及格式； n 转换当前驱动器盘符: n

布满荆棘的人生/ 2022年06月13日 02:19/ 0 赞/ 373 阅读

相关 Git常用操作命令

学无止境，精益求精！十年河东，十年河西，莫欺少年穷！学历代表你的过去，能力代表你的现在，学习代表你的将来！本篇博客是转发的别人的，原文地址：[http://www.

青旅半醒/ 2022年05月18日 10:07/ 0 赞/ 335 阅读

相关 Git常用命令操作

远程仓库相关命令克隆远程仓库：$ git clone git@github.com:caozongpeng/SpringBootBlog.git 克隆远

柔情只为你懂/ 2022年04月22日 12:50/ 0 赞/ 382 阅读

相关 Datastage常用操作、命令

/home/dsadm/Ascential/DataStage/DSEngine/bin 启动、停止服务 \uv -admin -start \uv -admin

爱被打了一巴掌/ 2022年04月14日 02:39/ 0 赞/ 437 阅读

相关 docker 操作常用命令

一、docker基本操作 1.启动 systemctl start docker 2.守护进程重启 sudo systemctl

浅浅的花香味﹌/ 2022年03月26日 05:47/ 0 赞/ 321 阅读

相关 kafka常用命令操作

1、查看所有的topic /opt/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/bin/kafka-topic

淩亂°似流年/ 2022年03月17日 16:42/ 0 赞/ 528 阅读

相关 Docker 常用操作命令

> 文章首发于微信公众号《程序员果果》 > > 地址：[mp.weixin.qq.com/s/S9VkzSJx\_…][mp.weixin.qq.com_s_S9VkzSJx

以你之姓@/ 2022年01月19日 20:49/ 0 赞/ 340 阅读

相关 MySQL常用操作命令

> MySQL 终端操作常用命令。 1、连接数据库 mysql -uroot -p 2、展示mysql的数据库 mysql> show data

逃离我推掉我的手/ 2021年09月18日 16:56/ 0 赞/ 641 阅读