3分钟带你实现Spring Batch的文件分片

清疚 2023-09-25 20:46 11阅读 0赞

先来一波需求分析。我们这个例子实现一个简单的需求，就是将一个目录下边的文件读出来，在每一行前边加上读这行文件的线程名称，然后打印出来。所以我们第一先在resource下边新建三个文件：

![eb45c9c8d72b498cc79b165bfd86f61a.jpeg][]

文件里面写几行数据：

![3e30dce63ba17b5f92b199400f52ee11.jpeg][]

好了，准备工作已经做完了，下边开始干活吧。

Step 1: 新建一个Spring Boot的工程，引入Spring Batch 的依赖

Step 2: 配置文件的分区规则

这里鹏哥采用一个文件一个分区的方式，使用Batch自带的MultiResourcePartitioner 来实现分区规则，这里有个小的知识点就是如何根据路径获取Resource\[\] 。keyName 是我们要往ExecuteContext 里面放置参数时的key，在下边Reader里面读取这个参数时需要。

![a9a3cf348bbeb4893e23cd6ed60717d5.jpeg][]

Step 3: 配置Reader/Processor/Writer

因为是读文件，我们选用FlatFileItemReader 作为我们的Reader 实现。同时传入Context 中的文件路径作为Resource 。这里只是一个文件路径，Spring 会自动帮我们把文件的路径转化为一个Resource对象。

![ae655186154b9562eac3ddbd998984b6.jpeg][]

Processor 则是在每一行读出的数据前边加上鹏哥的网名。

![b1bc9b2688b66d56dc4922c852615ae0.jpeg][]

Writer 是在每一行的前边加上当前线程的名称。

![d52d651cc94c989963c2aa0906674325.jpeg][]

Step 4：为Step 添加Listener

参照前边数据库分区的例子SpringBatch从入门到放弃011- 一个典型的数据库分片处理的例子。

Step 5：定义执行业务逻辑的Step

定义方法和之前数据库分区的一样。

![ce964ab9cdf8ba508d4dea818cd8d255.jpeg][]

Step 6: 定义执行Step的Handler

我们使用TaskExecutorPartitionHandler 作为我们的载体。

![fc3cee030900432e6511a872bfa572f1.jpeg][]

Step 7: 定义master Step

![7f44cfcda114c9af1ef22e9d076eb91c.jpeg][]

Step 8: 组装Job

![ba97a0bff2a0a6e6b90c89d00ba974e3.jpeg][]

Step 9：测试Job，并查看结果

我们在Listener 中打印出来每一个线程对应的Step Name和ExecuteContext 的值。分析日志我们看出，三个文件我们分了三片执行，每一片使用哪个线程，执行那个文件也清晰的反应在了日志里面。

![db9506249862a21e7dbc7a119b68da10.jpeg][]

在来看Writer 里面打印出来的日志，也能看出多线程执行了程序，每个线程执行执行了什么内容，也能清晰的反应。

![7aa3d7bdd95b17fb41ca323408a6689e.jpeg][]

好了，今天的文件分区执行的例子已经分享完了，现实项目中可以直接按照这个例子配置即可，当然因为不同的需求不同，分区规则肯定也不同，这个需要每个项目自己客户化的。

[eb45c9c8d72b498cc79b165bfd86f61a.jpeg]: https://img-blog.csdnimg.cn/img_convert/eb45c9c8d72b498cc79b165bfd86f61a.jpeg
[3e30dce63ba17b5f92b199400f52ee11.jpeg]: https://img-blog.csdnimg.cn/img_convert/3e30dce63ba17b5f92b199400f52ee11.jpeg
[a9a3cf348bbeb4893e23cd6ed60717d5.jpeg]: https://img-blog.csdnimg.cn/img_convert/a9a3cf348bbeb4893e23cd6ed60717d5.jpeg
[ae655186154b9562eac3ddbd998984b6.jpeg]: https://img-blog.csdnimg.cn/img_convert/ae655186154b9562eac3ddbd998984b6.jpeg
[b1bc9b2688b66d56dc4922c852615ae0.jpeg]: https://img-blog.csdnimg.cn/img_convert/b1bc9b2688b66d56dc4922c852615ae0.jpeg
[d52d651cc94c989963c2aa0906674325.jpeg]: https://img-blog.csdnimg.cn/img_convert/d52d651cc94c989963c2aa0906674325.jpeg
[ce964ab9cdf8ba508d4dea818cd8d255.jpeg]: https://img-blog.csdnimg.cn/img_convert/ce964ab9cdf8ba508d4dea818cd8d255.jpeg
[fc3cee030900432e6511a872bfa572f1.jpeg]: https://img-blog.csdnimg.cn/img_convert/fc3cee030900432e6511a872bfa572f1.jpeg
[7f44cfcda114c9af1ef22e9d076eb91c.jpeg]: https://img-blog.csdnimg.cn/img_convert/7f44cfcda114c9af1ef22e9d076eb91c.jpeg
[ba97a0bff2a0a6e6b90c89d00ba974e3.jpeg]: https://img-blog.csdnimg.cn/img_convert/ba97a0bff2a0a6e6b90c89d00ba974e3.jpeg
[db9506249862a21e7dbc7a119b68da10.jpeg]: https://img-blog.csdnimg.cn/img_convert/db9506249862a21e7dbc7a119b68da10.jpeg
[7aa3d7bdd95b17fb41ca323408a6689e.jpeg]: https://img-blog.csdnimg.cn/img_convert/7aa3d7bdd95b17fb41ca323408a6689e.jpeg