基于Java API操作HDFS

心已赠人 2022-12-12 15:29 101阅读 0赞

### 目录 ###

*   *  一、基于Maven环境构建工程
     *  二、基于Java API操作HDFS配置
     *  三、基于Java API 读取或上传HDFS文件内容

## 一、基于Maven环境构建工程 ##

1.新建工程  
2.新建工程变成maven工程  
3.安装配置maven环境,编辑setting文件  
4.idea工具配置maven  
5.编辑pom.xml文件

<properties>
        <hadoop.version>2.6.0</hadoop.version>
    </properties>
    
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>

## 二、基于Java API操作HDFS配置 ##

基于Java API对HDFS操作的初始化配置  
Configuration -> FileSystem

// 初始化的配置
    private FileSystem getFileSystem() throws IOException { 
       	Configuration configuration = new Configuration();
       	FileSystem fileSystem = FileSystem.get(configuration);
       	return fileSystem;
    }

## 三、基于Java API 读取或上传HDFS文件内容 ##

在操作之前需要两个配置文件：core-site.xml ，hdfs-site.xml  
将Hadoop中这两个文件下载到resources目录下。

测试：  
在hdfs上创建文件：

bin/hdfs dfs -mkdir -p /user/caizhengjie/hdfs

bin/hdfs dfs -put /opt/modules/hadoop/etc/hadoop/core-site.xml /user/caizhengjie/hdfs

**读取文件：**  
Path -> FSDataInputStream ->IOUtils

// 读取HDFS文件
    private void readHDFSFile(String filePath){ 
        FSDataInputStream fsDataInputStream = null;
        try { 
            Path path = new Path(filePath);
            // 创建hdfs文件输入流
            fsDataInputStream = this.getFileSystem().open(path);
            // 读取数据
            IOUtils.copyBytes(fsDataInputStream,System.out,4096,false);
    
        } catch (IOException e) { 
            e.printStackTrace();
        }finally { 
            if (fsDataInputStream != null){ 
                IOUtils.closeStream(fsDataInputStream);
            }
        }
    }

**上传文件：**

// 上传HDFS文件，需要两个参数，一个是本地文件的路径，一个是hdfs中的路径
    private void writeHDFS(String localPath,String hdfsPath){ 
        FSDataOutputStream outputStream = null;
        FileInputStream fileInputStream = null;
        try{ 
            Path path = new Path(hdfsPath);
            // hdfs文件输出流
            outputStream = this.getFileSystem().create(path);
            // 本地文件输入流
            fileInputStream = new FileInputStream(localPath);
            IOUtils.copyBytes(fileInputStream,outputStream,4096,false);
        } catch (IOException e) { 
            e.printStackTrace();
        }finally { 
            if (fileInputStream != null){ 
                try { 
                    fileInputStream.close();
                } catch (IOException e) { 
                    e.printStackTrace();
                }
            }
            if (outputStream != null){ 
                try { 
                    outputStream.close();
                } catch (IOException e) { 
                    e.printStackTrace();
                }
            }
        }
    }

**总代码：**

package com.kfk.hadoop.hdfs;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    import java.io.FileInputStream;
    import java.io.IOException;
    
    /** * @author : 蔡政洁 * @email :caizhengjie888@icloud.com * @date : 2020/10/7 * @time : 5:29 下午 */
    
    public class HdfsAPP { 
        // 初始化的配置
        private FileSystem getFileSystem() throws IOException { 
            Configuration configuration = new Configuration();
            FileSystem fileSystem = FileSystem.get(configuration);
            return fileSystem;
        }
    
        // 读取HDFS文件
        private void readHDFSFile(String filePath){ 
            FSDataInputStream fsDataInputStream = null;
            try { 
                Path path = new Path(filePath);
                // 创建hdfs文件输入流
                fsDataInputStream = this.getFileSystem().open(path);
                // 读取数据
                IOUtils.copyBytes(fsDataInputStream,System.out,4096,false);
    
            } catch (IOException e) { 
                e.printStackTrace();
            }finally { 
                if (fsDataInputStream != null){ 
                    IOUtils.closeStream(fsDataInputStream);
                }
            }
        }
    
        // 上传HDFS文件，需要两个参数，一个是本地文件的路径，一个是hdfs中的路径
        private void writeHDFS(String localPath,String hdfsPath){ 
            FSDataOutputStream outputStream = null;
            FileInputStream fileInputStream = null;
            try{ 
                Path path = new Path(hdfsPath);
                // hdfs文件输出流
                outputStream = this.getFileSystem().create(path);
                // 本地文件输入流
                fileInputStream = new FileInputStream(localPath);
                IOUtils.copyBytes(fileInputStream,outputStream,4096,false);
            } catch (IOException e) { 
                e.printStackTrace();
            }finally { 
                if (fileInputStream != null){ 
                    try { 
                        fileInputStream.close();
                    } catch (IOException e) { 
                        e.printStackTrace();
                    }
                }
                if (outputStream != null){ 
                    try { 
                        outputStream.close();
                    } catch (IOException e) { 
                        e.printStackTrace();
                    }
                }
            }
        }
    
        public static void main(String[] args) { 
    
            // 读取hdfs文件的路径
            String filePath = "hdfs://bigdata-pro-m01:9000/user/caizhengjie/hdfs/core-site.xml";
            // 上传hdfs文件的路径
            String hdfsPath = "hdfs://bigdata-pro-m01:9000/user/caizhengjie/hdfs/local.xml";
            // 本地文件
            String localPath = "/Users/caizhengjie/IdeaProjects/bigdata_study/src/main/resources/hdfs-site.xml";
    
            HdfsAPP hdfsAPP = new HdfsAPP();
    
            hdfsAPP.readHDFSFile(filePath);
            hdfsAPP.writeHDFS(localPath,hdfsPath);
        }
    }

运行结果：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    <configuration>
    	<property>
            <name>fs.defaultFS</name>
            <value>hdfs://bigdata-pro-m01:9000</value>
            </property>
            <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/modules/hadoop/tmp</value>
            </property>
            <property>
            <name>hadoop.http.staticuser.user</name>
            <value>caizhengjie</value>
            </property>
    </configuration>
    
    Process finished with exit code 0

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！