HDFS编程实践（基于deepin 20.1社区版&Hadoop 3.1.3）

ゝ一世哀愁。 2022-10-22 09:24 130阅读 0赞

> 参考资料：[HDFS编程实践（Hadoop 3.1.3） 厦大数据库实验室博客][HDFS_Hadoop 3.1.3_]

### 目录 ###

*  利用Shell命令与HDFS进行交互
 *   *  目录操作
     *  文件操作
 *  利用Web界面管理HDFS
 *  利用Java API与HDFS进行交互
 *   *  安装Eclipse
     *  使用Eclipse开发调试HDFS Java程序
     *   *  在Eclipse中创建项目
         *  为项目添加需要用到的JAR包
         *  编写Java应用程序
         *  编译运行程序
         *  应用程序的部署

# 利用Shell命令与HDFS进行交互 #

启动Hadoop：

$ cd /usr/local/hadoop
    $ ./sbin/start-dfs.sh
    $ jps

查看`fs`支持哪些命令：

$ ./bin/hadoop fs

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]

## 目录操作 ##

在HDFS中为hadoop用户创建一个用户目录：

$ ./bin/hdfs dfs -mkdir -p /user/hadoop

创建`input`目录：

$ ./bin/hdfs dfs -mkdir input

列出HDFS当前用户目录的所有内容：

$ ./bin/hdfs dfs -ls .

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]

## 文件操作 ##

使用vim在`/home/hadoop/`目录下创建一个文件`myLocalFile.txt`：

$ cd /home/hadoop/

Hadoop
    Spark
    XUPT

将其上传到HDFS中的当前用户目录的`input`目录下并且查看文件是否成功上传：

$ cd /usr/local/hadoop/
    $ ./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt input
    $ ./bin/hdfs dfs -ls input

查看HDFS中的`myLocalFile.txt`这个文件的内容：

$ ./bin/hdfs dfs -cat input/myLocalFile.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]  
把HDFS中的`myLocalFile.txt`文件下载到本地文件系统中的`/home/hadoop/Downloads/`目录下：

$ ./bin/hdfs dfs -get input/myLocalFile.txt /home/hadoop/Downloads

查看下载的文件：

$ cd ~/Downloads/
    $ ls
    $ cat myLocalFile.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]

# 利用Web界面管理HDFS #

打开浏览器，在地址栏输入`http://localhost:9870`，即可看到HDFS的Web管理界面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 4]

# 利用Java API与HDFS进行交互 #

## 安装Eclipse ##

Eclipse的安装文件位于`/home/hadoop/Downloads/`目录下，解压缩安装文件：

$ cd ~/Downloads/
    $ sudo tar -zxvf ./eclipse-java-2019-12-R-linux-gtk-x86_64.tar.gz -C /usr/local

解压缩完成后，启动Eclipse：

$ cd /usr/local/eclipse
    $ ./eclipse

## 使用Eclipse开发调试HDFS Java程序 ##

### 在Eclipse中创建项目 ###

Eclipse启动之后，首先设置工作空间 (Workspace) 为`/home/hadoop/workspace`，点击“OK”。  
接下来，选择“File→New→Java Project”，创建一个Java工程，按照下图进行设置：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 5]

### 为项目添加需要用到的JAR包 ###

点击“Libraries”选项卡，选择“Add External JARs…”。  
我们需要向Java工程中添加以下JAR包：

*  `/usr/local/hadoop/share/hadoop/common/`目录下的所有JAR包（注意：不包括目录`jdiff`, `lib`, `sources`和`webapps`）。
 *  `/usr/local/hadoop/share/hadoop/common/lib/`目录下的所有JAR包。
 *  `/usr/local/hadoop/share/hadoop/hdfs/`目录下的所有JAR包（注意：不包括目录`jdiff`, `lib`, `sources`和`webapps`）。
 *  `/usr/local/hadoop/share/hadoop/hdfs/lib/`目录下的所有JAR包。

选择完毕之后点击右下角的“Finish”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 6]

### 编写Java应用程序 ###

在Eclipse工作界面左侧的“Package Explorer”中找到工程“HDFSExample”，点击鼠标右键，选择“New→Class”，将“Name”设置为`MergeFile`，点击“Finish”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 7]  
向MergeFile.java中输入下面的代码：

import java.io.IOException;
    import java.io.PrintStream;
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.*;
    
    /** * 过滤掉文件名满足特定条件的文件 */
    class MyPathFilter implements PathFilter { 
    	String reg = null;
    	MyPathFilter(String reg) { 
    		this.reg = reg;
    	}
    	public boolean accept(Path path) { 
    		if (!(path.toString().matches(reg))) { 
    			return true;
    	    }
    		return false;
    	}
    }
    
    /** * 利用FSDataOutputStream和FSDataInputStream合并HDFS中的文件 */
    public class MergeFile { 
        Path inputPath = null;
        Path outputPath = null;
    
        public MergeFile(String input, String output) { 
            this.inputPath = new Path(input);
        	this.outputPath = new Path(output);
        }
    
        public void doMerge() throws IOException { 
        	Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fsSource = FileSystem.get(URI.create(inputPath.toString()), conf);
            FileSystem fsDst = FileSystem.get(URI.create(outputPath.toString()), conf);
        	    
            // 下面过滤掉输入目录中后缀为.abc的文件
            FileStatus[] sourceStatus = fsSource.listStatus(inputPath, new MyPathFilter(".*\\.abc"));
            FSDataOutputStream fsdos = fsDst.create(outputPath);
            PrintStream ps = new PrintStream(System.out);
        	
            // 下面分别读取过滤之后的每个文件的内容，并输出到同一个文件中
            for (FileStatus sta : sourceStatus) { 
        	    // 下面打印后缀不为.abc的文件的路径/文件大小
        	    System.out.print("路径：" + sta.getPath() + " 文件大小：" + sta.getLen() + " 权限：" + sta.getPermission() + " 内容：");
        	    FSDataInputStream fsdis = fsSource.open(sta.getPath());
        	    byte[] data = new byte[1024];
        	    int read = -1;
        		
        	    while ((read = fsdis.read(data)) > 0) { 
        		    ps.write(data, 0, read);
        		    fsdos.write(data, 0, read);
        	    }
        	    System.out.println();
        	    fsdis.close();
          	}
          	ps.close();
            fsdos.close();
        }
    
        public static void main(String[] args) throws IOException { 
        	MergeFile merge = new MergeFile("hdfs://localhost:9000/user/hadoop/", "hdfs://localhost:9000/user/hadoop/merge.txt");
        	merge.doMerge();
        }
    }

### 编译运行程序 ###

首先确保HDFS的`/user/hadoop`目录下已经存在`file1.txt`, `file2.txt`, `file3.txt`, `file4.abc`和`file5.abc`，每个文件的内容如下：  
`file1.txt`的内容：`this is file1.txt`；  
`file2.txt`的内容：`this is file2.txt`；  
`file3.txt`的内容：`this is file3.txt`；  
`file4.abc`的内容：`this is file4.abc`；  
`file5.abc`的内容：`this is file5.abc`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 8]

点击Eclipse的“Run→Run As”，在弹出的界面中点击“OK”，开始运行程序，可以在底部的Console中查看运行结果。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 9]  
查看HDFS中生成的`merge.txt`文件：

$ ./bin/hdfs dfs -ls /user/hadoop
    $ ./bin/hdfs dfs -cat /user/hadoop/merge.txt

### 应用程序的部署 ###

在Hadoop的安装目录下新建目录`myapp`：

$ cd /usr/local/hadoop
    $ mkdir myapp

在Eclipse工作界面左侧的“Package Explorer”中找到工程“HDFSExample”，点击鼠标右键，选择“Export…”，在弹出的界面中选择“Runnable JAR file”，点击“Next”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 10]  
设置“Launch configuration”为“MergeFile - HDFSExample”，“Export destination”为`/usr/local/hadoop/myapp/HDFSExample.jar`，“Library handling”为“Extract required libraries into generated JAR”，点击“Finish”。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 11]  
查看生成的JAR：

$ cd /usr/local/hadoop/myapp
    $ ls
    $ cd /usr/local/hadoop
    $ ./bin/hdfs dfs -rm /user/hadoop/merge.txt
    $ ./bin/hadoop jar ./myapp/HDFSExample.jar
    $ ./bin/hdfs dfs -ls /user/hadoop
    $ ./bin/hdfs dfs -cat /user/hadoop/merge.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 12]

[HDFS_Hadoop 3.1.3_]: http://dblab.xmu.edu.cn/blog/2460-2/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]: /images/20221022/30f06faa42124edeac699dd13b23eac6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]: /images/20221022/f96db115d81f4f5c88ee01e5eece1500.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 2]: /images/20221022/260ec2e6e8974593bff4e09c23718584.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 3]: /images/20221022/0d53231111074fc086eafbd9e3128f62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 4]: /images/20221022/524e0bf08e774a888ba28080468a2f70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 5]: /images/20221022/6750f93127f040efa4aba244d9b44048.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 6]: /images/20221022/1a70f0cefa0f4b68ab20a428b0cf6963.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 7]: /images/20221022/599b1a4a9f504bc7b424b06106fe998f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 8]: /images/20221022/4cb6376e79e8479589f059539093d07e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 9]: /images/20221022/daec4f91d476450fb1398f4f3f48b060.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 10]: /images/20221022/06c74446e0e5431ba582d6b52bf399f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 11]: /images/20221022/e910c9e345a4480897e5651699ef95d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 12]: /images/20221022/834e779a6ebb4ae29442d2e0dbabd9f3.png