Hadoop 2.x Maven开发环境搭建

╰半夏微凉° 2022-07-10 06:27 222阅读 0赞

最近在新公司储备大数据分析相关的知识，因为后续有一些项目是需要分布式数据分析的。刚好组里的也让我先学学这方面的东西。算了，废话不多说，直接贴配置。

# 环境 #

*  maven 3.3.9
 *  hadoop 2.6.5
 *  jdk8

# POM #

一般都是本地开发，然后将`jar`包拷贝到hadoop服务器，执行`hadoop jar`这样的命令开始一个mapreduce作业的。原始的开发是将`hadoop-2.6.5/share/hadoop/`中的一些模块jar包拷到项目的**classpath**中，但是每次新建一个项目都这样拷贝太low了。直接使用**Maven**的形式就好啦。

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>com.infosys</groupId>
        <artifactId>hadoop-wordcount</artifactId>
        <version>1.0.0</version>
    
        <packaging>jar</packaging>
    
        <properties>
            <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
            <hadoop.version>2.6.5</hadoop.version>
        </properties>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>${hadoop.version}</version>
            </dependency>
    
            
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
                <scope>test</scope>
            </dependency>
    
            <dependency>
                <groupId>org.apache.mrunit</groupId>
                <artifactId>mrunit</artifactId>
                <version>1.1.0</version>
                <classifier>hadoop2</classifier>
                <scope>test</scope>
            </dependency>
    
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-minicluster</artifactId>
                <version>${hadoop.version}</version>
                <scope>test</scope>
            </dependency>
        </dependencies>
    
    
        <build>
            <finalName>example-wordcount</finalName>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.1</version>
    
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                    </configuration>
                </plugin>
    
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-jar-plugin</artifactId>
                    <version>2.5</version>
                    <configuration>
                        <outputDirectory>${basedir}</outputDirectory>
                    </configuration>
                </plugin>
            </plugins>
        </build>
    </project>

以上配置包括hadoop客户端api 、mini集群j和测试相关的jar包，还有最后的maven打包插件，基本的很简单就这些。  
执行以下命令就可以在项目根目录中生成**jar**包了。

$ mvn package