(6)Java 读写 hdfs文件或者目录

布满荆棘的人生 2022-07-12 03:28 138阅读 0赞

1.读取单个文件

Date date = DateUtil.getSpecifiedDayBefore();
    			String yesterday = DateUtil.dateToStr(date, "yyyy-MM-dd");
    			String path = "hdfs://ip:9000/output_log/output_log_click" + yesterday;
    			
    		  Configuration conf = new Configuration();
    			FileSystem fs = FileSystem.get(URI.create(path), conf);
    			FSDataInputStream hdfsInStream = fs.open(new Path(path));
    			InputStreamReader isr = new InputStreamReader(hdfsInStream, "utf-8");
    			BufferedReader br = new BufferedReader(isr);
    			String line;
    			// int k = 0;
    			while ((line = br.readLine()) != null) {
    				System.out.println(line);
    			}

2.读取文件夹

Date date = DateUtil.getSpecifiedDayBefore();
    		String yesterday = DateUtil.dateToStr(date, "yyyy-MM-dd");
    		String path = "hdfs://ip:9000/output_log/output_log_click" + yesterday;
    
    		Configuration conf = new Configuration();
    		FileSystem fs = FileSystem.get(URI.create(path), conf);
    		FileStatus[] status = fs.listStatus(new Path(path));
    		for (FileStatus file : status) {
    			if (!file.getPath().getName().startsWith("newsMap")) {
                    continue;
                }
    			FSDataInputStream hdfsInStream = fs.open(file.getPath());
    			InputStreamReader isr = new InputStreamReader(hdfsInStream, "utf-8");
    			BufferedReader br = new BufferedReader(isr);
    			String line;
    			// int k = 0;
    			while ((line = br.readLine()) != null) {
    				System.out.println(line);
    			}
    			
    		}

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS文件系统读写原理

在HDFS中，关键的三大角色为：NameNode（命名节点）、DataNode（数据节点）、Client（客户端） Client(客户端)对HDFS中的数据进行读写操作，分别

迈不过友情╰/ 2024年03月27日 14:52/ 0 赞/ 26 阅读

相关 HDFS读写文件流程

目录基础概念 block packet chunk HDFS读写文件流程读文件流程写文

分手后的思念是犯贱/ 2023年01月07日 03:54/ 0 赞/ 125 阅读

相关 Day6.文件读写

由于并未在前5天学习过程中记录，所以题目开始于第6天，后续会抽空填补上前5天的内容。第6天主要是文件读写的训练。今天上午的流程如下：一．文件读写api

待我称王封你为后i/ 2022年08月01日 03:15/ 0 赞/ 103 阅读

相关 Unity文件目录的读写

转载自：http://forum.china.unity3d.com/thread-1516-1-1.html streamingAssetsPath （只读目录）

朱雀/ 2022年07月20日 16:22/ 0 赞/ 255 阅读

相关 (6)Java 读写 hdfs文件或者目录

1.读取单个文件 Date date = DateUtil.getSpecifiedDayBefore(); String yesterday

布满荆棘的人生/ 2022年07月12日 03:28/ 0 赞/ 139 阅读

相关 HDFS文件读写操作

HDFS读文件 1. 客户端首先调用FileSystem对象的open方法打开文件，其实获取的是一个DistributedFileSystem的实例。 2. Distri

布满荆棘的人生/ 2022年05月28日 01:58/ 0 赞/ 251 阅读

相关 R语言读写HDFS文件内容

参考的github的代码[rHadoopClient源码][rHadoopClient] 在R语言里面定义一个function函数，函数比较简单，就是利用hdfs的cat命令

男娘i/ 2022年05月21日 23:43/ 0 赞/ 224 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 244 阅读

相关 HDFS读写文件的具体流程

HDFS读写文件的具体流程 1.图解写文件 2.流程详解 3.图解读文件 4.流程详解 1.图解写文件 ![在这里插入图片描述][wate

ゝ一世哀愁。/ 2022年04月04日 08:22/ 0 赞/ 222 阅读

相关 Java API 读写 hdfs分布式文件系统（创建目录、读文件、写文件）

Java API 读写 hdfs 操作一、概述操作hdfs分布式文件系统的类为FileSystem对象 1、创建文件夹（递归创建）：fs. mkdi

电玩女神/ 2022年03月09日 19:50/ 0 赞/ 729 阅读