2.3 MapReduce之RecordReader原理

骑猪看日落 2023-02-28 11:23 96阅读 0赞

## 1 RecordReader介绍 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70]  
RecordReader作用就是把数据切分成key/value的形式 然后作为输入传给Mapper

所有方法：

*  linitialize：初始化RecordReader 只能调用一次
 *  nextKeyValue：读取下一个key/value键值对
 *  getCurrentKey：当前的key
 *  getCurrentValue：当前Value
 *  getProcess：获取当前进度
 *  colse：关闭RecordReader

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 1]

## 2 RecordReader运行流程 ##

**2.1 MapTask会构造一个NewTrackingRecordReader对象**

**2.2 在执行Mapper\#run方法之前会调用RecordReader的initalize方法**

**2.3 这个初始化方法里，会调用InputFormat.createRecordReader**  
默认的InputFormat就是TextInputFormat 所以这里就回到用TextInputFormat createRecordReader，返回LineRecordRead

**2.4 初始化方法的执行流程**

*  jiangInputSplit转换成FileSplit
 *  获取每一行能读取的最大长度默认是Integer.MAX\_VALUE
 *  获取当前FileSplit的开始位置
 *  获取当前FileSplit的结束位置
 *  获取当前FileSplit的文件路径

**2.5 进入Mapper.run 方法**  
判断是否有下一个key/value，如果 有则传入当前的key和value的map方法

**2.6 LineRecordReader是将当前开始位置的offset作为key，当前行的值作为value传入给map方法**

**2.7 close**

## 3 常见的RecordReader ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 2]  
太多了 说一些常见的吧  
**3.1 LineRecordRader**  
将文本开始的偏移量作为key  
整行文本作为value

**3.2 CombineFileRecordReader**  
处理CombineInputSplit里的每一个chunk的RecordReader，  
CombineInputSplit包含不同的小文件chunk信息  
但是具体读取每一个文件的数据，是由单独的RecordReader来读取的，CombineFileRecordReader只负责操作chunk数据

**3.3 DBRecordReader**  
从数据库中读取数据  
keyValueRecordReader:根据指定的分隔符去切分每一行数据，  
没有指定分隔符，key就是整行文本，value就是空

## RecordWriter ##

既然数据依靠RecordReader读取给map，那么同样的也就需要RecordWirter将Reducer中的数据写出去  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70]: /images/20230209/f5380eba48fb498b8676e937ec7c226e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200721112414803.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200721122251686.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020072112482395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTM4MTgzMw==,size_16,color_FFFFFF,t_70