mapreduce的maven依赖以及map过程的join

旧城等待， 2022-12-13 11:22 112阅读 0赞

maven依赖：

<dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>3.2.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs</artifactId>
                <version>3.2.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>3.2.0</version>
            </dependency>
    
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-mapreduce-client-core</artifactId>
                <version>3.2.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-mapreduce-client-common</artifactId>
                <version>3.2.0</version>
            </dependency>
    
            <dependency>
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
                <version>1.2.17</version>
            </dependency>

map过程的join，将文件放入map过程的环境中：

//job.addArchiveToClassPath();//缓存jar包到task运行节点的classpath中
    //job.addFileToClassPath();//缓存普通文件到task运行节点的classpath中
    //job.addCacheArchive();//缓存压缩包到task运行节点的目录中去
    //job.addCacheFile();//缓存普通文件到task运行节点的目录去

发表评论取消回复

表情：

评论列表（有 0 条评论，112人围观）

还没有评论，来说两句吧...

相关阅读

相关 poi的使用以及详解,poi的maven依赖

POI > 常用场景 1. 将用户信息导出为excel表格（导出数据…） 1. 将用户信息导出为excel表格（导出数据…）开发中经常会涉及到excel的处理

以你之姓@/ 2024年03月25日 21:40/ 0 赞/ 83 阅读

相关 MapReduce端Join操作（Map端join、Reduce端join）

map端join 指有两种表，只是一张较小，一张较大（一般大于1万条数据），大表的信息完全可以覆盖小表，往往将较小的表以键值对的形式添加到内存中，，然后只扫描大表：对于大表

柔光的暖阳◎/ 2023年02月16日 05:28/ 0 赞/ 65 阅读

相关 mapreduce的maven依赖以及map过程的join

maven依赖：  <dependency> <groupId>org.apache

旧城等待，/ 2022年12月13日 11:22/ 0 赞/ 113 阅读

相关 MapReduce之Map Join

如果在Reduce 端处理过多的表，容易出现数据倾斜，通常我们会在Map端缓存起来，提前把处理业务逻辑，减少Reduce端数据的压力，减少数据倾斜。 Map Join 适用于

太过爱你忘了你带给我的痛/ 2022年10月22日 04:13/ 0 赞/ 194 阅读

相关 MapReduce表连接操作之Map端join

一：背景 MapReduce提供了表连接操作其中包括Map端join、Reduce端join还有半连接，现在我们要讨论的是Map端join，Map端join是指数据到达map

心已赠人/ 2022年06月07日 03:06/ 0 赞/ 198 阅读

相关图解MapReduce各种join的使用

1、Reduce side join：在reduce端进行连接 [![image][]][image 1] 2、半连接：在map端将数据过滤，降低数据量，在reduc

「爱情、让人受尽委屈。」/ 2022年06月06日 04:22/ 0 赞/ 311 阅读

相关 MapReduce的Shuffle过程

![Center][] Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。 ![4df19

待我称王封你为后i/ 2022年05月31日 13:53/ 0 赞/ 198 阅读

相关 mapreduce——join算法的代码实现

需求：有user数据文件：user.csv u001,senge,18,angelababy u002,laozhao,48,ruhua u003

淡淡的烟草味﹌/ 2022年01月21日 20:43/ 0 赞/ 287 阅读

相关 Hadoop入门——MapReduce表连接操作之Map端join

一.背景 MapReduce提供了表连接操作其中包括Map端join（适合大表关联小表，小表放内存）、Reduce端join还有半连接，现在我们要讨论的是Map端join

矫情吗；*/ 2021年09月27日 07:22/ 0 赞/ 317 阅读

相关 MapReduce Join

一、常见的[join][]方法假设要进行join的数据分别来自File1和File2. 1.1 re[du][]ce s[id][]e join

素颜马尾好姑娘i/ 2021年09月14日 04:18/ 0 赞/ 360 阅读