一次定时任务不执行情况分析

怼烎@ 2022-11-11 05:50 347阅读 0赞

一、业务表现

在业务容器中，存在如下三个进程：

  • JAVA应用进程
  • OBProxy进程
  • Agent进程

其中Agent进程会启动一个守护线程，定时检查OBproxy进程的状态，如果OBproxy进程挂了，会重新拉起该进程。

现象

业务容器发生OOM，linux OOM killer主动kill掉了OBProxy进程。

Agent的守护线程未按照预期拉起OBproxy进程。

对应Agent简化版代码如下：

  1. ScheduledExecutorService executorService = Executors.newSingleThreadScheduledExecutor();
  3.         executorService.scheduleWithFixedDelay(() -> { 
  4.             try { 
  5.                 if (obProxyProcessDown) { 
  6.                     pullObProxyProcess();
  7.                 }
  8.             } catch (Exception e) { 
  9.                 //LOG
  10.             }
  11.         }, 1, 1, TimeUnit.SECONDS);

使用ScheduledExecutorService#scheduleWithFixedDelay定时检查OBproxy进程状态，在OBproxy进程挂掉的情况下主动拉起。

二、原因

如上简化代码，ScheduledExecutorService#scheduleWithFixedDelay里定时任务Task#catch的异常类型是Exception，但是系统OOM那会，抛出的是OOM Error异常，Error > Exception，没Catch住，导致ScheduledExecutorService线程池里的后续任务不执行。

" class="reference-link">三、复现在这里插入图片描述

OOM后，后续的打印动作并未执行。

" class="reference-link">四、分析在这里插入图片描述

定时任务执行异常，上面的java.util.concurrent.FutureTask#runAndReset返回false，导致后续的reExecutePeriodic未执行，定时任务没加入到BlockingQueue中，表现就是：后续定时任务不会执行。

具体可以参考：任务异常导致线程池中的线程变为waiting状态

发表评论

表情：
评论列表 （有 0 条评论，347人围观）

还没有评论，来说两句吧...

相关阅读

    相关 linux 定时任务不执行

    最近尝试linux上执行定时任务，本来以为设置定时任务很简单，然而，真正执行的时候处处打脸，一直找不到为什么不执行。关于设置定时任务我的另一篇博客里总结的有，这里不做赘述，下面

    电玩女神电玩女神/ 0 赞/ 158 阅读