Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C

矫情吗;* 2022-06-10 08:38 143阅读 0赞

这里写图片描述
我是对map的输出key类型仅仅实现了Writable,而没有实现comparable
由上图可知,会进行shuffle阶段对key进行分类,相同的key,会把value收集在一起,就是reduce 的Iterable value
解决办法 需要map阶段输出的key类型实现 compareTo
如果只进行序列化是可以仅仅实现Writable接口 write(),readFile的
map到reduce时存在shuffle,若作为key,则需要实现WritableComparable

发表评论

表情:
评论列表 (有 0 条评论,143人围观)

还没有评论,来说两句吧...

相关阅读