Hadoop：HDFS基础编程

一时失言乱红尘 2022-11-17 03:43 161阅读 0赞

**目录**

具体流程：

1.在Linux中安装Eclipse

2.创建Eclipse项目

3.编写java程序

4.启动Hadoop

5.执行Eclispse中的HDFSFileIfExist.java文件

6.将java工程带出成jar包，直接通过终端命令执行

7.关闭Hadoop

--------------------

## 具体流程： ##

### **1.在Linux中安装Eclipse**  ###

请查阅：[Hadoop：Linux中安装Eclipse][Hadoop_Linux_Eclipse]

### **2.创建E****clipse****项目** ###

（1）启动Eclipse，系统默认工作空间是“/home/hadoop/workspace”。这里我们直接采用系统默认的工作空间。

（2）创建Java Project,名字是“HDFSExample”。

（3）为项目引入外部jar包。“add External JARS”包括：

1.  **/****usr/local/hadoop/share/hadoop/common****目录下的“****hadoop-common-2.7.1.jar****”和“****hadoop-nfs-2.7.1.jar****”。**
2.  **/****usr/local/hadoop/share/hadoop/common/lib****目录下的所有jar包。**
3.  **/****usr/local/hadoop/share/hadoop/hdfs****目录下的“****hadoop-hdfs-2.7.1.jar****”和“****hadoop-hdfs-nfs-2.7.1.jar****”。**
4.  **/****usr/local/hadoop/share/hadoop/hdfs/lib****目录下的所有jar包。**

### **3.编写java程序** ###

（1）在“HDFSExample”工程中新建文件“HDFSFileIfExist.java”文件。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70][]

（2）HDFSFileIfExist.java

import java.io.IOException;
    import org.apache.hadoop.conf.*;
    import org.apache.hadoop.fs.*;
    public class HDFSFileIfExist {
    	public static void main(String[] args) {
    		try {
    			String fileName = "test";
    			Configuration conf = new Configuration();
    			conf.set("fs.defaultFS", "hdfs://localhost:9000");
    			conf.set("fs.hdfs.impl",
    					"org.apache.hadoop.hdfs.DistributedFileSystem");
    
    			FileSystem fs = FileSystem.get(conf);
    			if(fs.exists(new Path(fileName))){
    				System.out.println("文件存在");
    			}else{
    				System.out.println("文件不存在");
    			}
    			
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    	}
    }

### **4.启动H****adoop** ###

在终端中输入命令：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">cd /usr/local/hadoop</p> <p style="margin-left:0pt;">./sbin/start-dfs.sh</p> </td> 
  </tr> 
 </tbody> 
</table>

### **5****.****执行Eclispse中的H****DFSFileIfExist.java****文件** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 1][]

### **6.将java工程带出成j****ar****包，直接通过终端命令执行** ###

（1）导出“HDFSExample”工程文件。

*  指住工程“HDFSExample”->右键->export,弹出如下对话框。选择java->Runnable JAR file->next

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 2][]

*  选择启动类和jar文件的存放位置

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 3][]

（2）在Ubuntu终端运行jar文件

先查看导出的jar文件。命令如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">cd /usr/local/hadoop/myapp</p> <p style="margin-left:0pt;">ls</p> </td> 
  </tr> 
 </tbody> 
</table>

再运行jar文件。命令如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">cd /usr/local/hadoop</p> <p style="margin-left:0pt;">./bin/<strong><span style="color:#ff0000;"><strong>hadoop jar</strong></span></strong>&nbsp;./myapp/HDFSExample.jar</p> </td> 
  </tr> 
 </tbody> 
</table>

输入结果如下：

![2021040810151185.png][]

### **7.关闭****Hadoop** ###

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">cd /usr/local/hadoop</p> <p style="margin-left:0pt;">./sbin/stop-dfs.sh</p> </td> 
  </tr> 
 </tbody> 
</table>

[Hadoop_Linux_Eclipse]: https://blog.csdn.net/weixin_44015669/article/details/115506935
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70]: /images/20221022/8584495f90ab424c98cc2085eea32079.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/c079196033d242f1900adf8fb10bf128.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/db4d7baed659421887da1f9f9c8e3f04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDAxNTY2OQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/cd9b6541eb7c4280bc6224a117de7569.png
[2021040810151185.png]: /images/20221022/13dec7874a1249d79c982995c6ad61d3.png