记一篇windows本机使用IDEA打包Flink--【社会主义好】

ゝ一世哀愁。 2023-06-15 07:19 4阅读 0赞

首先，上来什么也不说，先感谢[这位大佬][Link 1]的杰出贡献。提点了小弟。

--------------------

刚刚接触Flink，磕磕绊绊的写了一些Flink的代码，本想着打包到服务器上跑一下。结果给我报错

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-checkstyle-plugin:2.17:check (validate) on project dsssanaly: Failed during checkstyle execution: Unable to find suppressions file at location: /tools/maven/suppressions.xml: Could not find resource '/tools/maven/suppressions.xml'. -> [Help 1]
    [ERROR] 
    [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
    [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    [ERROR] 
    [ERROR] For more information about the errors and possible solutions, please read the following articles:
    [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

返回头，再去看教学视频，发现那个讲师傻乎乎的去把源码放到服务器的linux环境下安装maven，使用maven命令打包。这也**太麻烦了**，难道以后写代码就得提交代码到服务器，再去打包了？

大兄弟，对这种傻乎乎的操作Say No！

摸爬滚打的半天，找到了上面提到的大佬的文章，虽然排版一般般，但是内容点醒了我。

下面开始我的操作。

--------------------

#### 第一步 ####

因为我的代码是一个项目下的module，那么配置一下这个module的pom文件，主要着重关注build部分内容吧

<build>
            <plugins>
                <plugin>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <configuration>
                        <archive>
                            <manifest>
                                <mainClass>guangzhi</mainClass>
                            </manifest>
                        </archive>
                        <descriptorRefs>
                            <descriptorRef>jar-with-dependencies</descriptorRef>
                        </descriptorRefs>
                    </configuration>
                </plugin>
            </plugins>
            <resources>
                <resource>
                    <directory>src/main/resources</directory>
                    <targetPath>${project.build.directory}/classes</targetPath>
                    <includes>
                        <include>**/*</include>
                    </includes>
                    <filtering>true</filtering>
                </resource>
            </resources>
        </build>

大致内容就是指定了一下main方法和配置文件的位置。

#### 第二步 ####

剩下去配置run的maven命令。  
![编辑一个参数配置项][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Z3Vhbmd6aGk_size_16_color_FFFFFF_t_70]

#### 第三步 ####

点击去之后，新建一个maven  
![新建maven配置项][maven]

#### 第四步 ####

然后就是配置你需要的内容了  
![配置maven编译信息][maven 1]  
maven打包命令是：`clean assembly:assembly -Dcheckstyle.skip=true`  
注意，这里不带mvn。

这里的\*\*-Dcheckstyle.skip=true\*\* 是为了跳过checkstyle会检查导致的失败。  
配置完成，点击下面的ok就能保存成功了。

#### 第五步 ####

接下来运行我们刚刚配置的maven命令，使用快捷键 alt + shift +F10，IDEA会自动选中我们刚才编辑的maven命令名字，直接回车，就可以开始编译了。如果没有选中，鼠标点一下也可以的。

#### 第六步 ####

打包好的jar包在对应的module下有个target目录，目录下有个**jar-with-dependencies.jar**字样的包，就是我们最后需要跑在flink上的包了  
![在这里插入图片描述][20191121113705937.png]

#### 第七步 ####

使用提交命令，运行你的代码  
简单说一下提交命令，在flink代码的主函数中，我们会定义一个args，与这个类似

./flink run -c com.guangzhi.stream.ProcessData /opt/dsssanaly-1.6.1-jar-with-dependencies.jar --input-topic test --bootstrap.servers 192.168.30.119:9092 --zookeeper.connect 192.168.30.111:2181 --group.id myconsumer1 --output-topic test4

解释一下对应的内容

-c com.guangzhi.stream.ProcessData  是我们在idea中调试程序运行的主方法的类文件，可以在idea中使用 Ctrl + Alt + Shift + C快捷键获取到，或者 右键这个类文件，点击 copy reference 拿到
    
    -input-topic test7 是我们作为消费者拿到kafka数据的topic
    
    --bootstrap.servers 服务器ip:9092  是我们的Kafka的brokerIP和端口
    
    --zookeeper.connect 服务器ip:2181 是我们的kafka链接zookeeper集群配置
    
    --group.id 可以随意，影响不大
     --output-topic  test4 是我们将结果输出的topic

剩下就可以去可视化页面查看运行情况了。

再次感谢大佬帮助，没有开头提到的文章，还真困惑一段时间呢。

[Link 1]: https://blog.csdn.net/weixin_34279061/article/details/86135900
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Z3Vhbmd6aGk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191121112438306.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Z3Vhbmd6aGk=,size_16,color_FFFFFF,t_70
[maven]: https://img-blog.csdnimg.cn/20191121112627600.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Z3Vhbmd6aGk=,size_16,color_FFFFFF,t_70
[maven 1]: https://img-blog.csdnimg.cn/20191121112910386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0Z3Vhbmd6aGk=,size_16,color_FFFFFF,t_70
[20191121113705937.png]: https://img-blog.csdnimg.cn/20191121113705937.png