读取指定偏移量的数据

迈不过友情╰ 2021-07-25 17:21 473阅读 0赞

import java.io.BufferedReader;
    import java.io.FileInputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.net.URI;
    import java.net.URISyntaxException;
    import java.util.Arrays;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.LocatedFileStatus;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.fs.RemoteIterator;
    import org.junit.Before;
    import org.junit.Test;
    
    public class HdfsClientDemo {
    
    	FileSystem fs = null;
    
    	@Before
    	public void init() throws Exception {
    		Configuration conf = new Configuration();
    		conf.set("dfs.replication", "2");
    		conf.set("dfs.blocksize", "64m");
    
    		fs = FileSystem.get(new URI("hdfs://192.168.228.130:9000/"), conf, "root");
    
    	}
    
    
    
    	/**
    	 * 读取hdfs中文件的指定偏移量范围的内容
    	 * 从第12个字节开始读，读16个字节
    	 * 
    	 * 
    	 * @throws IOException
    	 * @throws IllegalArgumentException
    	 */
    	@Test
    	public void testRandomReadData() throws IllegalArgumentException, IOException {
    
    		FSDataInputStream in = fs.open(new Path("/xx.dat"));
    
    		// 将读取的起始位置进行指定
    		in.seek(12);
    
    		// 读16个字节
    		byte[] buf = new byte[16];
    		in.read(buf);
    
    		System.out.println(new String(buf));
    
    		in.close();
    		fs.close();
    
    	}
    
    
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，473人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop hdfs 从指定偏移量读取文件数据代码示例

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

向右看齐/ 2023年10月07日 10:34/ 0 赞/ 70 阅读

相关 3.6.3 获取分区的读取偏移量

-------------------- 3.6.3 获取分区的读取偏移量读取分区的偏移量涉及日志存储，这里我们先给出一些简单的结论(具体细节会在第6章详细分析)：一

灰太狼/ 2023年01月13日 04:25/ 0 赞/ 142 阅读

相关 Kafka中的偏移量

Kafka中的每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序号，用于par

布满荆棘的人生/ 2022年12月03日 15:59/ 0 赞/ 237 阅读

相关 python列表偏移量_python中为list中含list元素指定偏移key量及次偏移量的排序算法...

题目说的有点繁杂函数实现的功能就是为一个包含list元素的list指定偏移的关键字及次关键字进行升序排序可以算是实现第一周第一个作业的可能会需要的函数贡献给大家：有不足

﹏ヽ暗。殇╰゛Y/ 2022年10月27日 13:55/ 0 赞/ 199 阅读

相关数组元素偏移量

在网上看了一些博客和资料总结一下，如有错误，请不要点赞。数组偏移量的定义：当前数组元素的地址与数组首地址的差值。举例：一维数组：一维数组：a\[n\]

小鱼儿/ 2022年05月15日 18:06/ 0 赞/ 383 阅读

相关 flume接收kafka数据，设置偏移量

[https://blog.csdn.net/s243471087/article/details/84061536][https_blog.csdn.net_s2434710

冷不防/ 2022年01月28日 08:47/ 0 赞/ 352 阅读

相关 flume接收kafka数据，设置偏移量

[https://blog.csdn.net/high2011/article/details/53282128][https_blog.csdn.net_high2011_a

野性酷女/ 2022年01月25日 23:37/ 0 赞/ 300 阅读

相关 storm-kafka spout 读取kafka数据偏移量越界

storm-kafka: Got fetch request with offset out of range

红太狼/ 2022年01月25日 22:19/ 0 赞/ 326 阅读

相关 spark 读取 kafka 指定偏移量数据

1，读取zookeeper里面的最大偏移量 2，手动输入指定的偏移量，实际生产是从redis读取，这里只是个案例 import ja

蔚落/ 2022年01月22日 12:55/ 0 赞/ 402 阅读

相关读取指定偏移量的数据

import java.io.BufferedReader; import java.io.FileInputStream; import java.i

迈不过友情╰/ 2021年07月25日 17:21/ 0 赞/ 474 阅读