Linux 指令学习之crontab

绝地灬酷狼 2023-10-10 15:45 32阅读 0赞

## crontab简介 ##

crontab可以在指定的时间执行一个shell脚本以及执行一系列Linux命令.

### 运用场景 ###

*  服务器管理员定时备份数据库数据
 *  服务器管理员定时同步数据库数据
 *  服务器管理员定时备份服务器日志信息

### crontab 常用命令 ###

crontab –e     //修改 crontab 文件，如果文件不存在会自动创建。 
    crontab –l      //显示 crontab 文件。 
    crontab -r      //删除 crontab 文件。
    crontab -ir     //删除 crontab 文件前提醒用户。

### crontab 服务常用命令 ###

service crond status     //查看crontab服务状态
    service crond start     //启动服务 
    service crond stop     //关闭服务 
    service crond restart     //重启服务 
    service crond reload     //重新载入配置

### crontab 语法格式 ###

*　　*　　*　　*　　*　　command
    分  时　 日　 月　 周　  命令

第1列表示分钟00～59 每分钟用\*或者 \*/1表示

第2列表示小时00～23（0表示0点）

第3列表示日期01～31

第4列表示月份01～12

第5列标识号星期0～6（0表示星期天）

第6列要运行的命令

#### 实例： ####

实例：每个工作日23:59都进行数据库备份作业

59 23 * * 1-5 /home/sh/mysql-backup.sh

创建MySQL数据库备份脚本，mysql\_backup.sh

#!/bin/bash
    PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
    export PATH
    #数据库用户名
    dbuser='root'
    #数据库用密码
    dbpasswd='512212'
    #需要备份的数据库，多个数据库用空格分开
    dbnames='db1 db2 db3'
    #备份时间
    backtime=`date +%Y%m%d%H%M%S`
    #日志备份路径
    logpath='/data/mysql/backup'
    #数据备份路径
    datapath='/data/mysql/backup'
     
    #备份文件存放服务器及存放路径( 用户名@服务器IP:路径)
    #backfileserver="root@192.168.0.70:/data/backup/"
     
     
     
    #文件没有则创建
    if [ ! -d "$datapath" ]; then
    	mkdir -p "$datapath"
    fi
     
    if [ ! -d "$logpath" ]; then
    	mkdir -p "$logpath"
    fi
    #日志记录头部
    echo "备份时间为${backtime},备份数据库 ${dbnames} 开始" >> ${logpath}/mysqllog.log
     
    #正式备份数据库
    for dbname in $dbnames; do
    	source=`mysqldump -u${dbuser} -p${dbpasswd} ${dbname}> ${datapath}/${dbname}_${backtime}.sql` 2>> ${logpath}/mysqllog.log
    	#备份成功以下操作
    	if [ "$?" == 0 ];then
    		cd $datapath
    		#为节约硬盘空间，将数据库压缩
    		tar zcf ${dbname}_${backtime}.tar.gz ${dbname}_${backtime}.sql > /dev/null
    		#删除原始文件，只留压缩后文件
    		rm -f ${datapath}/${dbname}_${backtime}.sql
    		#删除七天前备份，也就是只保存7天内的备份
    		find $datapath -name "*.tar.gz" -type f -mtime +7 -exec rm -rf {} \; > /dev/null 2>&1
    		echo "数据库表 ${dbname} 备份成功!!" >> ${logpath}/mysqllog.log
    		
    		#拷贝备份文件到备份服务器，使用scp时如何免输入密码，参考：https://jingyan.baidu.com/article/90bc8fc824e2dab752640c3f.html
    		# scp "${dbname}_${backtime}.tar.gz" $backfileserver
    		
    	else
    		#备份失败则进行以下操作
    		echo "数据库表 ${dbname} 备份失败!!" >> ${logpath}/mysqllog.log
    	fi
     
    done

实例：每10分钟采集一次服务器性能（网卡流量、CPU、内存和磁盘占用率）

*/10 * * * * /home/sh/check.sh

创建Linux 服务器监控脚本，check.sh

#!/bin/bash
    #这个脚本使用来统计CPU、磁盘、内存使用率、带宽的
    total=0
    system=0
    user=0
    i=0
    
    #带宽使用情况
    time=`date "+%Y-%m-%d %k:%M"`
    day=`date "+%Y-%m-%d"`
    minute=`date "+%k:%M"`
    echo  "*************************************************************************" >> 123.txt
    echo "统计开始时间：$day $minute" >> 123.txt
    
    #循环五次，避免看到的是偶然的数据
    echo "#带宽的使用情况：#" >>123.txt
    while (( $i<5 ))
    do
    #原先的`ifconfig eth0|sed -n "7p"|awk '{print $2}'|cut -c7-`方式获取网卡的信息为空，已经注释掉
    #rx_before=`ifconfig eth0|sed -n "7p"|awk '{print $2}'|cut -c7-`
    #tx_before=`ifconfig eth0|sed -n "7p"|awk '{print $6}'|cut -c7-`
    rx_before=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk '{print $2}')
    tx_before=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk '{print $10}')
    sleep 2
    #rx_after=`ifconfig eth0|sed -n "7p"|awk '{print $2}'|cut -c7-`
    #tx_after=`ifconfig eth0|sed -n "7p"|awk '{print $6}'|cut -c7-`
    rx_after=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk '{print $2}')
    tx_after=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk '{print $10}')
    
    rx_result=$[(rx_after-rx_before)/1024/1024/2*8]
    tx_result=$[(tx_after-tx_before)/1024/1024/2*8]
    echo  "$time Now_In_Speed: $rx_result Mbps Now_OUt_Speed: $tx_result Mbps" >>123.txt
    
    let "i++"
    done
    
    rx_result=$(cat 123.txt|grep "$time"|awk '{In+=$4}END{print In}')
    tx_result=$(cat 123.txt|grep "$time"|awk '{Out+=$7}END{print Out}')
    In_Speed=$(echo "scale=2;$rx_result/5"|bc)
    Out_Speed=$(echo "scale=2;$tx_result/5"|bc)
    #echo "#带宽的5次的平均值是：#" >>123.txt
    echo  "$time In_Speed_average: $In_Speed Mbps Out_Speed_average: $Out_Speed Mbps" >>123.txt
    
    #CPU使用情况
    which sar > /dev/null 2>&1
    if [ $? -ne 0 ]
    then
      total=`vmstat 1 5|awk '{x+=$13;y+=$14}END{print x+y}'`
      average=$(echo "scale=2;$total/5"|bc)
    fi
    echo "#CPU使用率:#" >>123.txt
    echo "Total CPU  is already use: $average%" >>123.txt
    #磁盘使用情况(注意：需要用sed先进行格式化才能进行累加处理)
    disk_used=$(df -m | sed '1d;/ /!N;s/\n//;s/ \+/ /;' | awk '{used+=$3} END{print used}')
    disk_totalSpace=$(df -m | sed '1d;/ /!N;s/\n//;s/ \+/ /;' | awk '{totalSpace+=$2} END{print totalSpace}')
    disk_all=$(echo "scale=4;$disk_used/$disk_totalSpace" | bc)
    disk_percent1=$(echo $disk_all | cut -c 2-3)
    disk_percent2=$(echo $disk_all | cut -c 4-5)
    disk_warning=`df -m | sed '1d;/ /!N;s/\n//;s/ \+/ /;' | awk '{if ($5>85) print $5 $6;} '`
    echo "#磁盘利用率#" >>123.txt
    echo "hard disk has used: $disk_percent1.$disk_percent2%" >>123.txt
    echo -e "\t\t#磁盘存在目录使用率超过85%报警#" >>123.txt
    echo -e "\t\tover used: $disk_warning" >>123.txt
    
    
    #内存使用情况
    memery_used=$(free -m | awk 'NR==2' | awk '{print $3}')
    buffer_used=$(free -m | awk 'NR==2' | awk '{print $6}')
    cache_used=$(free -m | awk 'NR==2' | awk '{print $7}')
    free=$(free -m | awk 'NR==2' | awk '{printf $4}')
    memery_all=$(free -m | awk 'NR==2' | awk '{print $2}')
    used_all=$[memery_all-(free+buffer_used+cache_used)]
    echo "$used_all $memery_all $free" >>123.txt
    memery_percent=$(echo "scale=4;$memery_used / $memery_all" | bc)
    memery_percent2=$(echo "scale=4; $used_all / $memery_all" | bc)
    percent_part1=$(echo $memery_percent | cut -c 2-3)
    percent_part2=$(echo $memery_percent | cut -c 4-5) 
    percent_part11=$(echo $memery_percent2 | cut -c 2-3)
    percent_part22=$(echo $memery_percent2 | cut -c 4-5)
    echo "#内存使用率#" >> 123.txt
    echo "system memery is already use: $percent_part1.$percent_part2%" >>123.txt
    echo "actual memery is already use: $percent_part11.$percent_part22%" >>123.txt
    
    echo  "结束本次统计：$day $minute" >> 123.txt
    echo  "*************************************************************************" >> 123.txt
    echo -e "\n\n\n\n" >> 123.txt

创建shell脚本中用于接受linux 采集性能指标文件123.txt

touch 123.txt

给 check.sh 和123.txt 赋予全权限

chmod +777 check.sh
    
    chmod +777 123.txt

### 知识拓展：正确、错误日志的输出是否写入到文件方法： ###

1.不输出任何内容（建议使用方法一）

*/1 * * * * /root/XXXX.sh >/dev/null 2>&1 
    或
    */1 * * * * /root/XXXX.sh &>/dev/null    //&表示任何内容

2.将正确和错误日志都输出到 /tmp/load.log

*/1 * * * * /root/XXXX.sh > /tmp/load.log 2>&1

3.只输出正确日志到 /tmp/load.log

*/1 * * * * /root/XXXX.sh > /tmp/load.log
    或
    */1 * * * * /root/XXXX.sh 1> /tmp/load.log    //1可以省略

4.只输出错误日志到 /tmp/load.log

*/1 * * * * /root/XXXX.sh 2> /tmp/load.log

部分解释:

/dev/null 代表空设备文件  
> 代表重定向到哪里  
1 表示stdout标准输出，系统默认值是1，所以">/dev/null"等同于"1>/dev/null"  
2 表示stderr标准错误  
& 表示等同于的意思，2>&1，表示2的输出重定向等同于1

### 知识拓展：crontab 定时任务脚本上锁 ###

**问题背景**：在Linux系统使用crontab配置一个定时任务后，出现一种情况，如果我设置的crontab任务时间是每隔1分钟执行一次任务脚本，但是这个脚本执行时间超过了1分钟，比如2分钟，这时系统会再执行任务。导致两个相同的任务在执行。这种情况下可能会出现一些并发问题，严重时会导致出现脏数据/性能瓶颈的恶性循环。

**解决办法**

*  思想
    
     *  利用Linux中的flock，将执行脚本的定时任务进程加上文件锁。
 *  flock详解
    
     *  简介：
        
         *  flock是对于整个文件的建议性锁。如果一个进程在一个文件（inode）上放了锁，那么其它进程是可以知道的。（建议性锁不强求进程遵守。）最棒的一点是，它的第一个参数是文件描述符，在此文件描述符关闭时，锁会自动释放。而当进程终止时，所有的文件描述符均会被关闭。
         *  当多个进程可能会执行同一个脚本，这些进程需要保证其它进程没有在操作，以免重复执行。通常，这样的进程会使用一个「锁文件」，也就是建立一个文件来告诉别的进程自己在运行，如果检测到那个文件存在则认为有操作同样数据的进程在工作。
     *  使用
        
            flock -h
            
            Usage:
             flock [options] <file|directory> <command> [command args]
             flock [options] <file|directory> -c <command>
             flock [options] <file descriptor number>
            
            Options:
            -s, --shared:    获得一个共享锁
            -x, --exclusive: 获得一个独占锁
            -u, --unlock:    移除一个锁，通常是不需要的，脚本执行完会自动丢弃锁
            -n, --nonblock:  如果没有立即获得锁，直接失败而不是等待
            -w, --timeout:   如果没有立即获得锁，等待指定时间
            -o, --close:     在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控
            -c, --command:   在shell中运行一个单独的命令
            -h, --help       显示帮助
            -V, --version:   显示版本

**实战**：

# 每30分钟执行数据库备份，验证flock 文件锁功能
    */30 * * * * flock -xn /home/lock/mysql_backup.lock -c '/bin/sh /home/sh/mysql_backup.sh >/dev/null 2>&1'

*  脚本解释
    
     *  flock -xn /home/lock/mysql\_backup.lock -c
        
         *  对后面的脚本进程加文件锁，格式为：flock 参数 锁文件地址 参数
     *  '/bin/sh /home/sh/mysql\_backup.sh >/dev/null 2>&1'
        
         *  执行脚本地址及打印日志
         *  注意：一定要加上引号，否则脚本不执行！！！