三十三、HDFS命令行操作

Myth丶恋晨 2022-05-07 00:28 306阅读 0赞

#                                     HDFS命令行操作 #

（1）-help：输出这个命令参数
    
    （2）-ls: 显示目录信息
         -lsr: 显示完整目录信息
         hadoop fs -ls /
         递归查看：
         hadoop fs -lsr /
    
    （3）-mkdir：在hdfs上创建目录
         hadoop fs -mkdir -p /user/admin/mapreduce/wordcount/test
    
    （4）-moveFromLocal从本地剪切粘贴到hdfs(本地的会被删除)
         hadoop fs -moveFromLocal wc.input /user/admin/mapreduce/wordcount/test
    
    （5）-moveToLocal：从hdfs剪切粘贴到本地(尚未实现)
         hadoop fs -moveToLocal  /user/admin/mapreduce/wordcount/test/wc.input
    
    （6）-appendToFile  ：追加一个文件到已经存在的文件末尾
         hadoop fs -appendToFile ./11.txt  /user/admin/mapreduce/wordcount/test/wc.input 
    
    （7）-cat ：显示文件内容  
         hadoop fs -cat /user/admin/mapreduce/wordcount/test/wc.input
    
    （8）-tail：显示一个文件的末尾            
         hadoop fs -tail /user/admin/mapreduce/wordcount/test/wc.input
    
    （9）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限
    
    （10）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去
          hadoop fs -copyFromLocal 11.txt /user/admin/mapreduce/wordcount/test/
          
    （12）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径
          hadoop fs -cp /user/admin/mapreduce/wordcount/test/11.txt /user/admin/mapreduce/wordcount/input
    
    （13）-mv：在hdfs目录中移动文件
          hadoop fs -mv /user/admin/mapreduce/wordcount/test/11.txt /user/admin/mapreduce/wordcount/input
    
    （14）-get：等同于copyToLocal，就是从hdfs下载文件到本地
          hadoop fs -get /user/admin/mapreduce/wordcount/test/11.txt 
    
    （15）-getmerge  ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...
    	 [admin@hadoop14 hadoop-2.7.2]$ hadoop fs -getmerge /user/admin/mapreduce/wordcount/input/11.txt /user/admin/mapreduce/wordcount/input/wc.input ./22.txt
    	 [admin@hadoop14 hadoop-2.7.2]$ ll
    	  总用量 68
    	  -rw-r--r--. 1 admin admin     7 10月 14 19:40 11.txt
    	  -rw-r--r--. 1 admin admin  1088 10月 14 19:44 22.txt
    
    
    （16）-put：等同于copyFromLocal
        hadoop fs -put 11.txt  /user/admin/mapreduce/wordcount/test
        
    （17）-rm：删除文件或文件夹
          hadoop fs -rm /user/admin/mapreduce/wordcount/test/11.txt 
    
    （18）-rmdir：删除空目录
          hadoop fs -rm /user/admin/mapreduce/wordcount/test
    
    （19）-df ：统计文件系统的可用空间信息，-h：格式化打印
    	[admin@hadoop14 hadoop-2.7.2]$ hadoop  fs  -df  -h  /
    	Filesystem              Size     Used  Available  Use%
    	hdfs://hadoop14:9000  43.9 G  758.6 M     28.8 G    2%
    
    （20）-du统计文件夹的大小信息：-s:总大小，去掉则表示分别列出文件夹大小
         [admin@hadoop14 hadoop-2.7.2]$ hadoop fs -du -s -h /user
         188.5 M  /user
    
    
    （21）-count：统计一个指定目录下的文件节点数量
         [admin@hadoop14 hadoop-2.7.2]$ hadoop fs -count -h /user
               6            4            188.5 M /user
    
    
    （22）-setrep：设置hdfs中文件的副本数量
    	副本数.png
    	注意：这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/df2c5eb6047743fa846bfacf56a8baf9.png