防止 crontab 定时任务重复执行

小灰灰 2021-01-20 05:44 753阅读 0赞

##### 前言： #####

crontab 定时任务很好使用，它的定时是很强硬的，直接跟系统时间打交道，不会去管程序本身执行是否需要时间。  
举个栗子：  
一个脚本执行需要 1 小时，使用 crontab 每隔2小时执行一次，一般情况下下次执行脚本时上次脚本执行肯定是跑完了的；但是，假如，程序卡住了呢？下次执行时上次脚本还在，会咋样？会再启动一个脚本，这时候就有两个脚本在执行，如果产生冲突会把事情搞得更复杂。  
**咋整？**

##### 1.flock 来帮忙 #####

直接在 linux 输入 flock 命令，就会获取使用说明：

Usage:
     flock [options] <file|directory> <command> [command args]
     flock [options] <file|directory> -c <command>
     flock [options] <file descriptor number>
    
    Options:
     -s  --shared             get a shared lock（获得共享锁）
     -x  --exclusive          get an exclusive lock (default)（获得排他锁）
     -u  --unlock             remove a lock（移除锁）
     -n  --nonblock           fail rather than wait（不能获得锁就直接失败而不是等待）
     -w  --timeout <secs>     wait for a limited amount of time（如果没有立即获得锁，等待指定时间）
     -E  --conflict-exit-code <number>  exit code after conflict or timeout（冲突或超时后的退出代码）
     -o  --close              close file descriptor before running command（在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控）
     -c  --command <command>  run a single command string through the shell（通过 shell 运行一条命令）
    
     -h, --help     display this help and exit（显示帮助并退出）
     -V, --version  output version information and exit（输出版本信息并退出）

怎么解决前言提到的问题？你看 -x 参数，排他锁就是独占喽，你再看-n参数，得不到就退出

如果我们执行脚本的时候用 -x 独占一个文件的锁，然后再加上-n参数（下次执行时如果上次执行没完成独占锁肯定不会释放，所以肯定没法获取锁，就不会再重复执行脚本了）

##### 2.举个例子 #####

**先写一个定时命令**

*/1 * * * * flock -xn /home/cron_test.py -c 'cd /home/;python -u cron_test.py >> test.log 2>&1 &'

解释一下：  
每隔一分钟，在使用独占锁锁定 cron\_test.py 文件的基础上，后台执行 cron\_test.py 脚本，并把结果打印到 test.log

**cron\_test.py 脚本如下**

import time
    
    if __name__ == '__main__':
        count = 0
        print count

结果：  
test.log 会每隔 1 分钟打印一个0，这个和普通定时没啥区别

**换脚本**

import time
    
    if __name__ == '__main__':
        count = 0
        while True:
            print count
            time.sleep(120)
            count = count + 1

脚本加了一个 2 分钟的延迟，也就是说下次执行的时候上次执行的脚本肯定没完成，定时命令不变，等三五分钟，查看一下进行，命令如下

ps -ef | grep cron_test

结果：

root       676 20001  0 19:41 pts/0    00:00:00 grep --color=auto cron_test
    root     30904     1  0 19:39 ?        00:00:00 /home/anaconda2/bin/python -u cron_test.py

如果 flock 没生效的话，这时候 ps 应该会有很多个执行脚本的进程，但是上面确实只有一个执行脚本的进行，也就是脚本只执行了一次，同时test.log日志如下：

0
    1
    2
    3
    4
    5

并没有脚本重新执行打印的 0

##### 3.tips #####

锁定的文件没有啥特殊的要求，可以使用脚本文件，也可以随便建一个。  
这种方式也可以用于守护进程。