批处理任务设计java框架_关于Executors.newScheduledThreadPool(1);批处理设计

不念不忘少年蓝@ 2022-11-06 10:54 183阅读 0赞

public abstract class AbstractBatchJobProcessor implements JobProcessor

\{

private final static  ExecutorService executors = Executors.newCachedThreadPool();

private ScheduledExecutorService schedulerExecutors = Executors.newScheduledThreadPool(1);

private LinkedBlockingQueue queue = new LinkedBlockingQueue();

/\*\*

\* 处理包大小

\*

\*

\* TODO 方法功能描述

\*

\* @return

\* @return int

\*/

abstract public int getPackageSize();

/\*\*

\* 处理周期(单位：分)

\*

\*

\* TODO 方法功能描述

\*

\* @return

\* @return int

\*/

abstract public int getCycle();

/\*\*

\* 获取任务列表

\*

\*

TODO 方法功能描述

\*

\* @return

\* @return List

\*/

abstract public List getTaskList();

// 每天凌晨0点触发

@Override

public void process(ProcessContext context)

\{

List taskList = getTaskList();

if(taskList == null || taskList.size() == 0)

\{

return;

\}

for(Runnable task : taskList)

\{

addTask(task);

\}

start();

\}

public void start()

\{

schedulerExecutors.scheduleAtFixedRate(new TaskWorker(), 1, getCycle(), TimeUnit.MINUTES);

\}

private class TaskWorker implements Runnable

\{

@Override

public void run()

\{

int i = 0;

while (!queue.isEmpty() && i++

\{

Runnable nextTask = nextTask();

if (nextTask != null)

\{

executors.execute(nextTask);

\}

\}

\}

\}

public Runnable nextTask()

\{

try

\{

return queue.take();

\}

catch (InterruptedException e)

\{

return null;

\}

\}

public void addTask(Runnable task)

\{

try

\{

queue.put(task);

\}

catch (InterruptedException e)

\{

\}

\}

\}

该类的意思是使用Quartz每天凌晨0点触发，从数据库取出2000个数据，这样子类实现的方法getTaskList();就有2000个任务，然后调用start()方法。

每隔getCycle()分钟执行getPackageSize();个线程。

请问 schedulerExecutors.scheduleAtFixedRate(new TaskWorker(), 1, getCycle(), TimeUnit.MINUTES);这个方法是不是只调用一次就行了。

为什么过两三天机子CPU就占用了300%。对多线程这方法没有什么经验啊

发表评论取消回复

表情：

评论列表（有 0 条评论，183人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spring实现批处理任务

Spring实现批处理任务 * 前言 * 创建业务数据 * 编写SQL脚本 * 创建实体类 * 创建一个中间处理器前言本文主要讲述基本...

心已赠人/ 2024年04月18日 08:45/ 0 赞/ 91 阅读

相关 SpringBoot 集成SpringBatch 批处理框架

SpringBatch 核心组件简介： 1）JobRepository：用来注册Job容器，设置数据库相关属性。 2）JobLauncher：用来启动Job的接口

傷城~/ 2023年10月10日 10:36/ 0 赞/ 70 阅读

相关批处理任务设计java框架_关于Executors.newScheduledThreadPool(1);批处理设计

public abstract class AbstractBatchJobProcessor implements JobProcessor \{ private fin

不念不忘少年蓝@/ 2022年11月06日 10:54/ 0 赞/ 184 阅读

相关设计数据密集型应用——批处理（10）

文章目录 1. 写在最前面 2. 使用 Unix 工具的批处理 2.1 简单的日志分析 2.1.

以你之姓@/ 2022年09月16日 03:45/ 0 赞/ 325 阅读

相关 DOS 批处理命令学习1

1 控制台颜色设置命令和参数， ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAYmN

- 日理万妓/ 2022年08月28日 08:50/ 0 赞/ 194 阅读

相关 bat批处理（二）：%0 %1——给批处理脚本传递参数

bat批处理（二）：%0 %1——给批处理脚本传递参数标签： [ bat][bat][传入参数][Link 1][形参][Link 2][0-9][] 2016-

川长思鸟来/ 2022年07月13日 06:10/ 0 赞/ 450 阅读

相关 Redis Pipeline 批处理任务

今天分享一个Redis的小功能，Pipeline（流水线）。Pipeline能够将一组Redis命令组装起来，通过一次请求发给Redis服务端，Redis服务端执行完这些命令之

分手后的思念是犯贱/ 2022年05月14日 03:45/ 0 赞/ 181 阅读

相关使用CompletionService批处理任务

如果你向Executor提交了一个批处理任务，并且希望在它们完成后获得结果。为此你可以保存与每个任务相关联的Future，然后不断地调用timeout为零的get，来检验Fut

怼烎@/ 2022年04月05日 13:53/ 0 赞/ 261 阅读

相关 Windows批处理运行PHP任务

这里介绍了Windows运行计划任务的方法。感兴趣的童鞋往下看。背景：大多公司都是用Linux服务器，但是程序员本地开发还是用的Windows较多，本地跑一些计划任务啥

た入场券/ 2021年12月03日 03:51/ 0 赞/ 449 阅读

相关批处理框架 Spring Batch 详解

spring batch 是 spring 提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务操作。这些业务运营包括：无需用户交互即可最

我就是我/ 2021年09月08日 22:26/ 0 赞/ 434 阅读