spark利用maven profile不同环境下配置不同的依赖

梦里梦外; 2023-02-16 06:54 30阅读 0赞

因为在日常测试和生产中因为某些问题,需要配置很多不同包的依赖来对应不同的环境,java的maven的profile可以很好地帮我们解决这一问题

# 以spark 的kafka包为例 #

这里有两个环境,一个local,一个product.我这里需要将不同的依赖导入

<profiles>
            <profile>
                
                <id>local</id>
                <properties>
                    <dev.environment>local</dev.environment>
                </properties>
                <dependencies>
                
                    <dependency>
                        <groupId>org.apache.kafka</groupId>
                        <artifactId>kafka_2.10</artifactId>
                        <version>0.8.2.1</version>
                        
                    </dependency>
                    <dependency>
                        <groupId>org.apache.spark</groupId>
                        <artifactId>spark-streaming-kafka_2.10</artifactId>
                        <version>${spark.version}</version>
                    </dependency>
                </dependencies>
                <activation>
                    
                    <activeByDefault>true</activeByDefault>
                </activation>
            </profile>
            <profile>
                
                <id>product</id>
                <properties>
                    <dev.environment>product</dev.environment>
                </properties>
                <dependencies>
                    <dependency>
                        <groupId>org.apache.spark</groupId>
                        <artifactId>spark-streaming-kafka_2.10</artifactId>
                        <version>${spark.version}</version>
                    </dependency>
                </dependencies>
                <build>
                    <plugins>
                    
                        <plugin>
                            <groupId>org.apache.maven.plugins</groupId>
                            <artifactId>maven-compiler-plugin</artifactId>
                            <configuration>
                                <source>1.8</source>
                                <target>1.8</target>
                                <skip>true</skip>
                            </configuration>
                        </plugin>
                        <plugin>
                            <groupId>org.apache.maven.plugins</groupId>
                            <artifactId>maven-surefire-plugin</artifactId>
                            <version>2.20</version>
                            <configuration>
                                <includes>
                                    <include>**/*Test.java</include>
                                </includes>
                                <skipTests>true</skipTests>
                            </configuration>
                        </plugin>
                    </plugins>
                </build>
            </profile>
        </profiles>

我使用的是IDEA,maven view 这里会看到,点击鼠标就能进行环境的切换,也是很方便

![20200609111628129.png][]

然后进行maven的编译

[INFO] skip non existing resourceDirectory C:\Users\Administrator\Desktop\bigdata\parselog\src\test\resources 
    [INFO] 
    [INFO] — maven-compiler-plugin:3.1:testCompile (default-testCompile) @ parselog — 
    [INFO] Not compiling test sources 
    [INFO] 
    [INFO] — maven-surefire-plugin:2.20:test (default-test) @ parselog — 
    [INFO] Tests are skipped.

可以看出这里maven跳过了测试的.java,并且将需要的包编译到了我们的jar

[20200609111628129.png]: https://img-blog.csdnimg.cn/20200609111628129.png