大数据入门（三）HDFS Shell与Java API

谁借莪１个温暖的怀抱￠ 2023-01-19 12:51 12阅读 0赞

### 一、HDFS Shell ###

大多数HDFS Shell命令与Unix Shell是类似的，主要不同之处是HDFS Shell命令操作的是远程Hadoop服务器上的文件，而Unix Shell命令操作的是本地文件。

完整的HDFS Shell命令见官网：[FileSystemShell][] 和 [HDFS Commands Guide][]，也可使用hadoop fs --help命令查看。下面演示几个常用命令。

<table> 
 <tbody> 
  <tr> 
   <td style="width:124px;"><span style="color:#86ca5e;"><strong>命令</strong></span></td> 
   <td style="width:619px;"><span style="color:#86ca5e;"><strong>说明</strong></span></td> 
  </tr> 
  <tr> 
   <td style="width:124px;"><strong>hadoop fs</strong></td> 
   <td style="width:619px;">FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file systems such as Local FS, HFTP FS, S3 FS, and others.&nbsp; (使用面最广，可以操作任何文件系统)</td> 
  </tr> 
  <tr> 
   <td style="width:124px;"><strong>hadoop dfs</strong></td> 
   <td style="width:619px;">专门针对hdfs分布式文件系统，已经Deprecated</td> 
  </tr> 
  <tr> 
   <td style="width:124px;"><strong>hdfs dfs</strong></td> 
   <td style="width:619px;">同hadoop dfs，并且当使用hadoop dfs时内部会被转为hdfs dfs命令</td> 
  </tr> 
 </tbody> 
</table>

*  **mkdir 创建目录：**

使用方法：hadoop fs -mkdir \[-p\] <path>...

说明：-p 参数会递归创建目录，即使上级目录不存在，也会按目录层级自动创建目录

![20210529151947531.png][]

*  **put 与copeFromLocal 上传文件：**

put 使用方法：hadoop fs -put <localsrc> ... <dst>

说明：从本地文件系统中复制单个或者多个源路径/文件到目标文件系统，也支持从标准输入中读取输入写入目标文件系统。

![20210529153235486.png][]

***copyFromLocal：***同put。唯一的区别是 -put 更宽松，可以把本地或者HDFS上的文件拷贝到HDFS中；而 -copyFromLocal 则只能拷贝本地文件到HDFS中。

*  **ls 列出文件：**

使用方法：hadoop fs -ls <args>

注意：在HDFS中未带参数的“-ls”命令没有任何返回值，它默认返回HDFS的“home”目录下的内容。在HDFS中，没有当前目录这一概念，也没有cd命令。

![20210529153651596.png][]

***lsr 命令：***作用是会递归列出子目录中的文件及目录信息，目前已经DEPRECATED，可以用hadoop fs -ls -R <args>代替

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70][]

*  **cat：**将指定路径下的文件的内容输出到stdout

![20210529155002349.png][]

*  **get 与copeToLocal 下载文件：**复制文件到本地文件系统。hadoop fs -get \[-f\] \[-p\] \[-ignoreCrc\] \[-crc\] <src> ... <localdst>

\-p：保留访问和修改时间，所有权和权限。(假设权限可以跨文件系统传播)

\-f：如果目标已经存在，则覆盖目标

\-ignorecrc：跳过下载文件的CRC检查

\-crc：为下载的文件写CRC校验和

![20210529160611900.png][]

扩展阅读：[HADOOP中的CRC数据校验文件][HADOOP_CRC]

***copeToLocal：***同get。唯一的区别是copeToLocal限定了目标路径只能是本地文件。

*  **rm：删除指定路径下的文件**。hadoop fs -rm \[-f\] \[-r |-R\] \[-skipTrash\] \[-safely\] URI \[URI ...\]

HDFS有个垃圾回收站（trash）机制，默认情况下是禁用的，可通过fs.trash.interval（在core-site.xml中）设置一个大于零的值（单位分钟）来启用该机制。当启用了trash后，HDFS会将删除的文件移动到一个垃圾目录（/user/用户名/.Trash/）。如果想直接删除某个文件，而不把其放在回收站，可以使用-skipTrash命令。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 1][]

这里设置的回收周期是一天（60\*24）。

HDFS的trash具体实现其实是在NameNode中开启了一个后台线程Emptier（org.apache.Hadoop.fs.TrashPolicyDefault.Emptier，可通过fs.trash.classname更改TrashPolicy类），这个线程会定期自动删除回收站下面超过生命周期的文件和目录。另外，用户也可以手动删除回收站中的文件。删除回收站中的文件的操作和删除其他文件目录是一样的，唯一不同的是，HDFS会检测这个文件目录是不是回收站，如果是，HDFS就不会再把它们放入回收站中了。

![20210529163226394.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 2][]

***rmr 命令：***作用是递归删除文件目录下的所有文件，目前已经DEPRECATED，可以用hadoop fs -rm \[-R | -r\] <URI>代替

*  **expunge 命令：**hadoop fs -expunge \[-immediate\]

第一次执行hadoop fs -expunge时，HDFS会新建一个checkpoint并把最近删除存放在Trash中的文件移至checkpoint下；在下一次hadoop fs -expunge执行时（注意，如果你在core-site.xml文件中配置了fs.trash.checkpoint.interval属性，该命令会在达到指定的时间后自动执行，手动执行无效），该checkpoint下的所有文件会被永久删除。（注：详见 [File Deletes and Undeletes][]）

如果传递了-immediate选项，会忽略fs.trash.interval设置，将当前用户的所有垃圾文件立即删除。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 3][]

*  **du：**hadoop fs \[generic options\] -du \[-s\] \[-h\] \[-v\] \[-x\] <path> ... 显示目录中所有文件的大小

![2021052917260630.png][]

说明：第一列标示了该目录下的文件总大小，第二列标示了该目录下所有文件在集群上的总存储大小（等于文件大小\*副本系数），第三列就是你所查询的目录。

*  **setrep：**hadoop fs -setrep \[-R\] \[-w\] <numReplicas> <path> 用于修改文件的副本系数。如果path是一个目录，则该命令会递归地更改以path为根的目录树下所有文件的副本系数。

\-w参数会等待命令执行完毕，这可能会花费很长时间。而-R参数是为了向后兼容，它没有任何效果。

![20210529174638617.png][]

*  **mv：**hadoop fs -mv URI \[URI ...\] <dest> 将文件从源移动到目标。该命令还允许多个源，在这种情况下，目标需要是一个目录。不允许跨文件系统移动文件。

![20210529174848188.png][]

这里把整个dir2目录全部移到了dir1中了。

*  **cp：**hadoop fs -cp \[-f\] \[-p | -p\[topax\]\] URI \[URI ...\] <dest>  将文件从源复制到目标。此命令还允许多个源，在这种情况下，目标必须是一个目录。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 4][]

*  **head：**hadoop fs -head URI  将文件的首个1KB字节的内容显示到标准输出。
 *  **tail：**hadoop fs -tail \[-f\] URI  将文件尾部的1KB字节的内容显示到标准输出。如Unix一样，可以使用-f参数，持续输出最后的1KB字节内容。

![20210529175158522.png][]

*  **stat：**以指定格式打印的文件/目录的统计信息。格式接受八进制(%a)和符号(%a)的权限，字节的文件大小(%b)，类型(%F)，所有者的组名(%g)，名称(%n)，块大小(%o)，复制(%r)，所有者的用户名(%u)，访问日期(%x， %x)，和修改日期(%y， %y)。%x和%y显示UTC日期为“yyyy-MM-dd HH:mm:ss”，%x和%y显示1970年1月1日UTC时间的毫秒数。如果没有指定格式，默认使用%y。

hadoop fs -stat "type:%F perm:%a %u:%g size:%b mtime:%y atime:%x name:%n" /user/hadoop/dir1/testHDFS.txt

![20210529213218332.png][]

*  **test：**hadoop fs -test -\[defswrz\] URI

1.  \-d：如果路径是一个目录，返回0。
2.  \-e：如果路径存在，则返回0。
3.  \-f：如果路径是一个文件，则返回0。
4.  \-s：如果路径不为空，返回0。
5.  \-w：如果该路径存在且已授予写权限，则返回0。
6.  \-r：如果路径存在且有读权限，则返回0。
7.  \-z：如果文件长度为0，则返回0。

![20210529213932953.png][]

bash中用$?获取最近一次调用的返回值。

*  **text：**hadoop fs -text <src>  获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream。

![20210529214255454.png][]

*  **touchz：**hadoop fs -touchz URI \[URI ...\]  创建一个0字节的空文件

![20210529214650424.png][]

*  **安全模式命令：**HDFS的NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块副本数满足最小副本数条件时，会自动退出安全模式。需要注意的是，HDFS进入安全模式后会导致Hive和HBase的启动异常。扩展：[HDFS 安全模式的理解][HDFS]       安全模式操作命令如下：

# 进入安全模式
    hadoop dfsadmin -safemode enter
    
    # 退出安全模式
    hadoop dfsadmin -safemode leave
    
    # 查看集群是否处于安全模式
    hadoop dfsadmin -safemode get

### 二、HDFS Java API ###

**2.1 IDEA（Windows）连接虚拟机Hadoop集群**

在Windows下连接虚拟机上的Hadoop集群需要做一些前期准备，准备工作如下：

1.  首先，把第一节[大数据入门（一）Hadoop伪分布式安装][Hadoop]中下载的hadoop-3.0.0.tar.gz，在Windows中找个目录进行解压缩
2.  然后从[ winutils镜像][winutils] 上下载**hadoop.dll**和**winutils.exe**，并将其拷贝到hadoop-3.0.0.tar.gz解压缩的目录的bin目录中
3.  最后配置环境变量HADOOP\_HOME，值是hadoop-3.0.0.tar.gz解压缩的目录，然后在系统变量path里增加$HADOOP\_HOME\\bin 即可。

**2.2 IDEA 项目测试**

新建一个spring项目，pom文件依赖如下所示：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>2.5.0</version>
            <relativePath/> 
        </parent>
        <groupId>com.example</groupId>
        <artifactId>hadoopdemo</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>hadoopdemo</name>
        <description>Demo project for Hadoop</description>
        <properties>
            <java.version>1.8</java.version>
        </properties>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter</artifactId>
            </dependency>
    
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
    
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>3.1.1</version>
                <exclusions>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>log4j-over-slf4j</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-api</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-log4j12</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>3.1.1</version>
                <exclusions>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>log4j-over-slf4j</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-api</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-log4j12</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs</artifactId>
                <version>3.1.1</version>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                    <configuration>
                        <excludes>
                            <exclude>
                                <groupId>org.projectlombok</groupId>
                                <artifactId>lombok</artifactId>
                            </exclude>
                        </excludes>
                    </configuration>
                </plugin>
            </plugins>
        </build>
    
    </project>

然后就是HDFS的配置类

package com.example.hadoopdemo.config;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.springframework.context.annotation.Bean;
    
    import java.net.URI;
    
    @org.springframework.context.annotation.Configuration
    public class HDFSConfig {
        private static String HDFS_URI = "hdfs://hadoop0:9000/";
    
        @Bean
        public FileSystem getFileSystem() throws Exception {
            Configuration configuration = new Configuration();
            FileSystem fs = FileSystem.get(new URI(HDFS_URI), configuration, "root");
            return fs;
        }
    }

配置完以上信息后，我们就可以来使用HDFS了。Hadoop中文件操作类基本上是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。示例代码如下：

package com.example.hadoopdemo.utils;
    
    import org.apache.hadoop.fs.*;
    import org.apache.hadoop.hdfs.DistributedFileSystem;
    import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
    import org.apache.hadoop.io.IOUtils;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Component;
    
    import java.io.IOException;
    import java.io.OutputStream;
    
    @Component
    public class HDFSUtils {
        @Autowired
        private FileSystem hdfs;
    
        // 判断文件、目录是否存在
        public boolean isExists(String pathString) throws IOException {
            Path path = new Path(pathString);
            return hdfs.exists(path);
        }
    
        // 上传文件
        public void upload(String src, String dst) throws IOException {
            Path scrPath = new Path(src);
            Path dstPath = new Path(dst);
            hdfs.copyFromLocalFile(scrPath, dstPath);
        }
    
        // 下载文件
        public void download(String src, String dst) throws IOException {
            Path scrPath = new Path(src);
            Path dstPath = new Path(dst);
            hdfs.copyToLocalFile(scrPath, dstPath);
        }
    
        // 创建文件并写入数据
        public void createFile(String dst, String context) throws IOException {
            Path dstPath = new Path(dst);
            FSDataOutputStream outputStream = hdfs.create(dstPath);
            outputStream.write(context.getBytes());
            outputStream.close();
        }
    
        // 创建目录
        public boolean createDir(String dir) throws IOException {
            return hdfs.mkdirs(new Path(dir));
        }
    
        // 文件重命名
        public boolean renameFile(String src, String dst) throws IOException {
            return hdfs.rename(new Path(src), new Path(dst));
        }
    
        // 删除文件或目录，recursive标志用来确定是否要递归删除
        public boolean delete(String src, boolean recursive) throws IOException {
            return hdfs.delete(new Path(src), recursive);
        }
    
        // 读取文件, 输出到outputStream
        public void readFile(String src, OutputStream outputStream) throws IOException {
            FSDataInputStream inputStream = hdfs.open(new Path(src));
            IOUtils.copyBytes(inputStream, outputStream, 1024, false);
            IOUtils.closeStream(inputStream);
        }
    
        // 查看指定目录下的文件信息
        public void list(String src) throws IOException {
            FileStatus[] fileStatusList = hdfs.listStatus(new Path(src));
            for (FileStatus fileStatus : fileStatusList) {
                // 文件路径
                System.out.println(fileStatus.getPath());
                // 文件的修改时间
                System.out.println(fileStatus.getModificationTime());
            }
        }
    
        // 获取DataNode信息
        public void getNodeMessage() throws IOException {
            DistributedFileSystem distributedFileSystem = (DistributedFileSystem) hdfs;
            DatanodeInfo[] datanodeInfos = distributedFileSystem.getDataNodeStats();
            for (int i = 0; i < datanodeInfos.length; i++) {
                System.out.println("DataNode_" + i + "_Name: " + datanodeInfos[i].getHostName());
            }
        }
    }

测试代码如下：

package com.example.hadoopdemo;
    
    import com.example.hadoopdemo.utils.HDFSUtils;
    import org.junit.jupiter.api.Test;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.boot.test.context.SpringBootTest;
    
    @SpringBootTest
    public class HDFSTest {
        @Autowired
        private HDFSUtils hdfsUtils;
    
        @Test
        public void test() throws Exception {
            System.out.println("hdfs目录是否存在：" + hdfsUtils.isExists("/hdfs"));
            System.out.println("创建hdfs目录：" + hdfsUtils.createDir("/hdfs"));
            hdfsUtils.upload("C:\\Users\\Minghui.Ni\\Desktop\\test.txt", "/hdfs");
            System.out.println("test.txt文件是否上传成功：" + hdfsUtils.isExists("/hdfs/test.txt"));
            System.out.println("test.txt重命名为hdfsTest.txt：" + hdfsUtils.renameFile("/hdfs/test.txt", "/hdfs/hdfsTest.txt"));
            hdfsUtils.readFile("/hdfs/hdfsTest.txt", System.out);
            System.out.println("\n");
            hdfsUtils.createFile("/hdfs/test2.txt", "Hello HDFS\n");
            hdfsUtils.readFile("/hdfs/test2.txt", System.out);
            hdfsUtils.list("/hdfs");
            hdfsUtils.getNodeMessage();
            hdfsUtils.delete("/hdfs", true);
            System.out.println("hdfs目录是否删除成功：" + !hdfsUtils.isExists("/hdfs"));
        }
    }

运行截图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 5][]

### 三、其他 ###

[Spring for Apache Hadoop - Reference Documentation][]

[FileSystemShell]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html
[HDFS Commands Guide]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
[20210529151947531.png]: /images/20221021/3dcae4b557b44e2cb7efd8c5f3cc0006.png
[20210529153235486.png]: /images/20221021/b4d2de23e2c74e6d92d39f12a918a493.png
[20210529153651596.png]: /images/20221021/2997433e3ff641c9a6fc9aa8bacfed76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70]: /images/20221021/e6d1a3f125254167b968330a74140957.png
[20210529155002349.png]: /images/20221021/407fd1ddf373498a9b8885f4372eed49.png
[20210529160611900.png]: /images/20221021/8774dc6368e14c8c9969c46c79b8bc10.png
[HADOOP_CRC]: https://blog.csdn.net/tianyeshiye/article/details/85293295
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 1]: /images/20221021/bb720dbe97b240bb867c49dceb86fb74.png
[20210529163226394.png]: /images/20221021/0e1850ae22104f96bc937ba74e44ed43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 2]: /images/20221021/4979b138565f4774bc91d90562bfbe23.png
[File Deletes and Undeletes]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#File_Deletes_and_Undeletes
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 3]: /images/20221021/9b7aa6a28c094088adde6514c3463500.png
[2021052917260630.png]: /images/20221021/b264199c1d16470db35b6cd10a51520f.png
[20210529174638617.png]: /images/20221021/2efc8a7080794b30ace1e5dd11874ac2.png
[20210529174848188.png]: /images/20221021/fb7bcfffecaf4865981b40effbe954ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 4]: /images/20221021/facf596912fb48f6a3b73457d501fe1b.png
[20210529175158522.png]: /images/20221021/321277d77059495a8d593599d322aed1.png
[20210529213218332.png]: /images/20221021/18839bfffdb14ce388c692ed2aacc965.png
[20210529213932953.png]: /images/20221021/d34f1fc0679e449db3ac38f63aa198b1.png
[20210529214255454.png]: /images/20221021/ee1c728ef511450aac145f370ce86026.png
[20210529214650424.png]: /images/20221021/f64ed7fca7ae408182eebf0f9fcac38b.png
[HDFS]: https://www.cnblogs.com/zwgblog/p/5705241.html
[Hadoop]: https://blog.csdn.net/qq_37771475/article/details/116462272
[winutils]: https://codechina.csdn.net/mirrors/steveloughran/winutils/-/tree/master/hadoop-3.0.0/bin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzcxNDc1_size_16_color_FFFFFF_t_70 5]: /images/20221021/a4501b7f8e374a67a67f7ef24d37db43.png
[Spring for Apache Hadoop - Reference Documentation]: https://docs.spring.io/spring-hadoop/docs/2.5.0.RELEASE/reference/html/