闹钟重复定时_我的定时任务去哪了?

╰+攻爆jí腚メ 2023-01-06 14:52 175阅读 0赞

## 故事背景 ##

最近有同事向我求助，出现了一个很诡异的问题：服务器上一个 crontab 的定时任务不见了，但是这个任务却一直正常地执行着。（如图：这个任务被注释了）

![2e9a143e2449f0a7bd803712013aeeb7.png][]

找不到定时任务（现场）

这个定时任务主要做的事情是每天早上08点01分生成一个表的快照，这个快照是用来做数据分析使用的。经过检查，每天的快照确实都正确的生成了。

## 猜想一：被移动到了别的用户目录下 ##

因为这个任务每天仍然在正确的运行着，所以这个任务很可能因为某种原因被迁移了。最简单的思路是去每个用户的目录下查看一下是否有对应的任务。因为 crontab 会把用户的定时任务存在 /var/spool/cron/crontabs/ 目录下，所以我们可以grep一下这个目录。

root@work:/root# grep "backup_table_a" -r /var/spool/cron/crontabs/
    /var/spool/cron/crontabs/root:# 1 8 * * * /usr/bin/python backup_table_a.py >> backup_table_a.log 2>&1

很遗憾，没有找到对应的数据。除此以外 crontab 还有一些系统层级的定时任务，会在/etc/\*cron\*的目录下，比如`/etc/cron.monthly/` `/etc/cron.d`等等。所以尝试在如下目录中搜寻，依然没有结果。

root@work:/root#  grep "backup_table_a" -r /etc/
    root@work:/root#

## 猜想二：被移动到了别的定时任务框架下 ##

通过上述的排查基本已经确定新的任务已经不是使用crontab的了，那么可能二就是被某位同学移动到了一个新的定时任务框架下，比如python下的apscheduler，celery都能实现定时任务。同时又有另一个线索 backup\_table\_a.log 文件每天有产生新的日志，所以可以断定这个任务一定是在本机运行的。

有了这个线索，问题就简单了。如果是这种情况，只要全局 grep 一下文件名就一定可以找到。（这里有个小tips，全局grep的时候需要去除指定的文件夹，比如设备之类的，感兴趣的同学可以看下这个链接。）经过接近 1 小时漫长的等待，搜索结束了，但是竟然没有结果！！

root@work:/root# cd / && grep -r --exclude-dir=proc --exclude-dir=sys --exclude-dir=dev "backup_table_a" *
    /var/spool/cron/crontabs/root:# 1 8 * * * /usr/bin/python backup_table_a.py >> backup_table_a.log 2>&1
    root@work:/root#

## 猜想三：其他可能 ##

排除了猜想二，接下来就可能有无限的可能了。。可能某个同事把代码重写了并且改了文件名，可能某个同事使用了远程的数据库来存储定时任务，也可能某个同事每天早上8点定了闹钟手动运行的。。。

所以我们只剩一个方法：根据这个定时任务的特点来排查问题。我们知道这个定时任务主要做的事情是每天早上08点01分连接 MySQL 数据库生成一个表的快照。那么在08点01分的时候一定会有数据库的链接。我们可以通过 `lsof -i:3306` 命令来反查这个问题 。（小tips：lsof 需要 root 才能查看到非当前用户运行的程序）

具体实现方式是增加一个 crontab，每分钟搜索一下当前到3306的连接，然后通过进程的pid来倒查具体是哪个命令执行了这个任务，该进程的父进程是什么，父父进程是什么。

`* * * * * bash search_for_3306.sh >> search_for_3306.log 2>&1`

以下是具体的脚本，感兴趣的同学可以看一下。`search_for_3306.sh`

# /bin/bash
    ## 用法 
    ## 修改如下的MONITOR_PORT为你需要查询的端口
    ## 执行：bash search_for_3306.sh
    
    # =============== 配置 =================
    MONITOR_PORT=3306
    
    # =============== 具体代码 =================
    echo "========================================================"
    echo start:`date +"%Y%m%d_%H%M"`
    
    all_ppid=""
    
    ## 尝试将新的pid加入all_ppid这个数组
    ## 添加失败会返回255，防止出现重复展示
    add_to_all_ppid() {
        echo "${all_ppid[@]}" | grep -wq "$1"
        res=$?
        if [[ $res == "0" ]] ; then 
            return 255
        else
            all_ppid+=" $1"
            return 0
        fi
    }
    
    ## 输出对应pid以及所有的父pid具体运行的命令是什么
    show_ps_info() {
        key_word=$1
        echo
        echo key_word:$key_word
        ps -ef | grep $key_word | grep -v grep
        ppid=""
        temp_ppid=`ps -ef | grep $key_word | grep -v grep | awk '{print $3}' | sort | uniq`
        for i in $temp_ppid ; do
            add_to_all_ppid $i
            res=$?
            if [[ $res == "0" ]] ; then 
                ppid+=" $i"
            fi
        done
    
        while [[ $ppid ]]; do
            a=""
            for j in $ppid
            do 
                if [[ $j != 1 ]] ; then
                    echo
                    echo PPID:$j
                    ps -ef | grep $j | grep -v grep
                    pppid=`ps -ef | grep $j | grep -v grep | awk '{print $3}' | sort | uniq`
                    for k in $pppid ; do
                        if [[ $k != $j ]] ; then
                            add_to_all_ppid $k
                            res=$?
                            if [[ $res == "0" ]] ; then 
                                a+=" $k"
                            fi
                        fi
                    done
                fi
            done
            ppid=$a
        done
    }
    
    for pid in `sudo lsof -i:$MONITOR_PORT | awk 'NR==1 {next} {print $2}' | sort | uniq` ; do
        show_ps_info $pid
    done

## 最终结果： ##

![1877a3de9055bbae4169b0e8e8ea4600.png][]

最终经过不懈的努力，查到对应的任务是被运维的同事迁移到了 cronsun 这个分布式的任务系统上了，所以全局 grep 搜索不到对应的内容了。仔细想想这个事情就是典型的”好心办坏事“。cronsun 这个工具提供了任务监控，任务失败重试等功能，可以更加有效的保证了定时任务的可靠性，方便开发的同学。但是运维同学 "默默" 做 ”好事“ 这个行为很不好，还好这个迁移的过程中没有出现大的问题。想到以前听到的一句话：”高调做事，低调做人“，仔细想想还是很有道理的，自己未来也要引以为戒。

[2e9a143e2449f0a7bd803712013aeeb7.png]: /images/20221119/2530f4b9cac84a08a025b22226a0597d.png
[1877a3de9055bbae4169b0e8e8ea4600.png]: /images/20221119/f1cbcf2fa0ba427e96c6d674fc5bcbb6.png