Hadoop FileInputFormat 默认切片机制

梦里梦外; 2022-02-23 08:14 367阅读 0赞

![FileInputFormat][]

## 默认的切片机制 ##

1.  简单地按照文件的内容长度进行切片
2.  切片大小，默认等于 block 大小\*\*(Local模式默认32M，集群模式默认128M)\*\*
3.  切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

![FileInputFormat默认切割机制][FileInputFormat 1]

## 源码分析 ##

参考：[Hadoop MapReduce Splits 切片源码分析及切片机制][Hadoop MapReduce Splits]

### 计算切片大小 computeSplitSize ###

默认情况下，切片大小=blocksize

protected long computeSplitSize(long blockSize, long minSize, long maxSize) { 
        return Math.max(minSize, Math.min(maxSize, blockSize));
    }

### SPLIT\_SLOP ###

每次切片时，都要判断切完剩下的部分是否大于块的 1.1 倍， 不大于 1.1 倍就划分一块切片

private static final double SPLIT_SLOP = 1.1;   // 10% slop
    while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) { 
        int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
        splits.add(makeSplit(path, length-bytesRemaining, splitSize, blkLocations[blkIndex].getHosts(),blkLocations[blkIndex].getCachedHosts()));
        bytesRemaining -= splitSize;
    }

通过分析源码，在 FileInputFormat 中，计算切片大小的逻辑:Math.max(minSize,  
Math.min(maxSize, blockSize));

切片主要由这几个值来运算决定

mapreduce.input.fileinputformat.split.minsize=1 //默认值为 1 
    mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue //默认值

因此，默认情况下，切片大小=blocksize。  
maxsize(切片最大值):参数如果调得比 blocksize 小，则会让切片变小，就等于  
配置的这个参数的值。  
minsize(切片最小值):参数调的比 blockSize 大，则可以让切片变得比 blocksize 还大

[FileInputFormat]: /images/20220223/f27276a7783946999780effd0e516c2b.png
[FileInputFormat 1]: /images/20220223/df9de7100b324012a32ecb27c06f123f.png
[Hadoop MapReduce Splits]: https://blog.csdn.net/yljphp/article/details/89067858