hadoop java文件_使用java api操作Hadoop文件

﹏ヽ暗。殇╰゛Y 2022-11-02 03:50 175阅读 0赞

1. 概述

2. 文件操作

2.1  上传本地文件到hadoop fs

2.2 在hadoop fs中新建文件，并写入

2.3 删除hadoop fs上的文件

2.4  读取文件

3. 目录操作

3.1 在hadoop fs上创建目录

3.2 删除目录

3.3 读取某个目录下的所有文件

4. 参考资料接代码下载

<1>. 概述

hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中，这些api能够支持的操作包含：打开文件，读写文件，删除文件等。

hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：

static FileSystem get(Configuration conf);

该类封装了几乎所有的文件操作,例如mkdir，delete等。综上基本上可以得出操作文件的程序库框架：

operator()

得到Configuration对象

得到FileSystem对象

进行文件操作

另外需要注意的是，如果想要运行下面的程序的话，需要将程序达成jar包，然后通过hadoop jar的形式运行，这种方法比较麻烦，另外一种方法就是安装eclipse的hadoop插件，这样能够很多打包的时间。

<1>. 文件操作

1.1 上传本地文件到文件系统

/\*\* upload the local file to the hds

\* notice that the path is full like /tmp/test.c\*/publicstaticvoiduploadLocalFile2HDFS(String s, String d)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

Path src=newPath(s);

Path dst=newPath(d);

hdfs.copyFromLocalFile(src, dst);

hdfs.close();

1.2 创建新文件，并写入

/\*

\* create a new file in the hdfs.

\* notice that the toCreateFilePath is the full path

\* and write the content to the hdfs file.

\*/publicstaticvoidcreateNewHDFSFile(String toCreateFilePath, String content)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

FSDataOutputStream os=hdfs.create(newPath(toCreateFilePath));

os.write(content.getBytes("UTF-8"));

os.close();

hdfs.close();

1.3 删除文件

/\*     \* delete the hdfs file

\* notice that the dst is the full path name\*/publicstaticbooleandeleteHDFSFile(String dst)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

Path path=newPath(dst);booleanisDeleted=hdfs.delete(path);

hdfs.close();returnisDeleted;

1.4  读取文件

/\*\* read the hdfs file content\* notice that the dst is the full path name

\*/publicstaticbyte\[\] readHDFSFile(String dst)throwsException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);//check if the file existsPath path=newPath(dst);if( fs.exists(path) )

FSDataInputStream is=fs.open(path);//get the file info to create the bufferFileStatus stat=fs.getFileStatus(path);//create the bufferbyte\[\] buffer=newbyte\[Integer.parseInt(String.valueOf(stat.getLen()))\];

is.readFully(0, buffer);

is.close();

fs.close();returnbuffer;

\}else\{thrownewException("the file is not found .");

<2>. 目录操作

2.1 创建目录

/\*\* make a new dir in the hdfs\*

\* the dir may like '/tmp/testdir'

\*/publicstaticvoidmkdir(String dir)throwsIOException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);

fs.mkdirs(newPath(dir));

fs.close();

2.2 删除目录

/\*\* delete a dir in the hdfs

\* dir may like '/tmp/testdir'\*/publicstaticvoiddeleteDir(String dir)throwsIOException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);

fs.delete(newPath(dir));

fs.close();

2.3 读取某个目录下的所有文件

public static voidlistAll(String dir)throwsIOException

Configuration conf =newConfiguration();

FileSystem fs=FileSystem.get(conf);

FileStatus\[\] stats=fs.listStatus(newPath(dir));for(inti=0; i

\{if(stats\[i\].isFile())

\{//regular fileSystem.out.println(stats\[i\].getPath().toString());

\}elseif(stats\[i\].isDirectory())

\{//dirSystem.out.println(stats\[i\].getPath().toString());

\}elseif(stats\[i\].isSymlink())

\{//is s symlink in linuxSystem.out.println(stats\[i\].getPath().toString());

fs.close();

<4>. 参考资料及代码下载

注意的是如果是操作hdfs上文件的话，需要将hadoop-core和common-log的jar包添加到classpath中，在本地运行，如果是mapreduce程序的话，需要将程序打成jar包，之后上传到hdfs上，才能运行。

hadoop java文件_使用java api操作Hadoop文件

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 hadoop远程java api操作

相关 java接口操作Hadoop文件（增删改查）

相关 hadoop java文件_使用java api操作Hadoop文件

相关 Hadoop之HDFS文件操作

相关 hadoop hdfs java api操作实战

相关 Hadoop系列-HDFS文件操作的JAVA API用法（七）

相关 java操作hadoop的hdfs文件工具类

相关 Hadoop HDFS文件操作

相关（4）通过调用hadoop的java api实现本地文件上传到hadoop文件系统上

相关 Hadoop HDFS的Java API使用