hadoop_命令

谁借莪１个温暖的怀抱￠ 2022-05-25 06:20 213阅读 0赞

1. 创建目录

hadoop dfs -mkdir /usr

\-p先创建父目录

2. 查看文件列表

hadoop fs -ls /

\-ls -R sj 查看子目录

\-lsr 查看子目录

3. 将系统文件复制到hdfs

**copyFromLocal**

hadoop dfs -copyFromLocal /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

![20180509145508466][]

**put**

hadoop dfs -put /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

![20180509145545722][]

4. 将hdfs中的文件复制到系统中

**copyToLocal**

hadoop -copyToLocal /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

**get**

hadoop dfs -get /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

![20180509145612787][]

5. 复制文件

将HDFS中的文件复制到HDFS相应目录

**cp**

hadoop dfs -cp /usr/local/testFile.txt /usr/local/testFileCopy.txt

6. 删除文件

rm 删除文件

rmr 递归删除

hadoop dfs -rmr /usr/local/testFile.txt

或者：

hadoop dfs -rmr /usr/local/\*

7. 移动文件

mv

hadoop dfs -mv /usr/local/testFile.txt /usr

8. 统计

\-count

统计某一目录下有多少个文件，共占用多大磁盘。

Hadoop dfs -count /usr/local

9. 查看文件内容

**cat**

hadoop dfs -cat /usr/local/testfile.txt

![20180509145725531][]

**text**

**tail**

10. 显示目录中各文件的大小

**du**

hadoop dfs -du /usr/local

![20180509145820958][]

11. 显示目录中所有文件的总大小

**dus**

hadoop dfs -dus /usr/local

![20180509145857994][]

12. 集群间复制数据

**distcp**

hadoop distcp hdfs://centos5:9000/usr/local/testFile.txt hdfs://centos2:9001/data/local

假设两个集群的nameNode分别为centos5、centos2,端口分别为9000和9001

13. 平衡操作

balancer

如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程。

如：hadoop balancer

14. 检查文件

**fsck**

hadoop fsck /usr -delete (删除受损文件)

其中\-delete为可选参数，还可以是\-move、\-files、\-blocks、\-openforwrite、\-locations

15. 管理命令

l 安全模式：\-safemode

hdfs dfsadmin -safemode enter/leave/get/wait

l 报告：\-report

hdfs dfsadmin -report

![20180509150007537][]

![20180509150016125][]

[20180509145508466]: /images/20220525/e49d13ec47b6448fa0a07cdc709595de.png
[20180509145545722]: /images/20220525/120f666ef9854d3a9408fe42b36146ae.png
[20180509145612787]: /images/20220525/e1a3660bc2774a0b96b2e5219819293f.png
[20180509145725531]: /images/20220525/adcf916295594a16bd2fed1305afc090.png
[20180509145820958]: /images/20220525/57087aff04fa4e28ba0281f8ae6478c0.png
[20180509145857994]: /images/20220525/3e28810536284d21a3cb441e8d0a661f.png
[20180509150007537]: /images/20220525/1617c9f6c0ab4b099b6250f97d1825c3.png
[20180509150016125]: /images/20220525/f131333366a34b2cb555a69c013b3202.png

发表评论取消回复

表情：

评论列表（有 0 条评论，213人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop - 命令

查看文件系统 hadoop fs -ls / 2 文件上传 hadoop fs -put test.txt / 3 文件下载 hado...

旧城等待，/ 2024年04月17日 20:42/ 0 赞/ 45 阅读

相关【Hadoop基础】hadoop fs 命令

转载地址：[http://www.blogjava.net/changedi/archive/2013/08/12/402696.html][http_www.blogjava

心已赠人/ 2022年09月22日 11:47/ 0 赞/ 202 阅读

相关 Hadoop：Hadoop基本命令

http://[blog.csdn.net/pipisorry/article/details/51223877][blog.csdn.net_pipisorry_articl

今天药忘吃喽~/ 2022年08月21日 07:46/ 0 赞/ 245 阅读

相关 Hadoop命令收集

查看版本 hadoop version 统计目录和文件大小 hadoop fs -du -h /dir 列出目录或文件 hadoop fs -

妖狐艹你老母/ 2022年08月20日 15:16/ 0 赞/ 223 阅读

相关 hadoop命令详解

本文转载自：[http://www.cnblogs.com/linjiqin/p/3147856.html][http_www.cnblogs.com_linjiqin_p_3

ゝ一纸荒年。/ 2022年07月15日 00:25/ 0 赞/ 177 阅读

相关 hadoop_命令

1. 创建目录 hadoop dfs -mkdir /usr \-p先创建父目录 2. 查看文件列表 hadoop fs -ls / \-ls -R sj 查

谁借莪１个温暖的怀抱￠/ 2022年05月25日 06:20/ 0 赞/ 214 阅读

相关 hadoop命令手册

转载于：[http://hadoop.apache.org/docs/r1.0.4/cn/commands\_manual.html][http_hadoop.apache.

柔情只为你懂/ 2022年05月19日 03:23/ 0 赞/ 187 阅读

相关 Hadoop DistCp 命令

一、概述 Distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件的分发、错误处理和恢复，以及生成相应的报告。要拷贝的文件和目

ゝ一世哀愁。/ 2022年03月17日 13:39/ 0 赞/ 494 阅读

相关 [hadoop] hadoop 命令

Hadoop fs命令 1. hdfs基本操作 hadoop fs类似于hdfs dfs 1. 如何查看hdfs子命令的帮助信息，如令 h

墨蓝/ 2021年12月12日 23:43/ 0 赞/ 349 阅读

相关 hadoop ls命令

ls 使用方法：hadoop fs -ls <args> 如果是文件，则按照如下格式返回文件信息：文件名 <副本数> 文件大小修改日期修改时间权限用户ID 组

柔光的暖阳◎/ 2021年09月27日 14:40/ 0 赞/ 348 阅读