使用Linux自带日志滚动工具logrotate滚动redis日志示例

小灰灰 2022-03-19 19:14 566阅读 0赞

截至到redis-5.0版本，redis仍然不会自动滚动日志文件，如果不处理则日志文件日积月累越来越大，最终将导致磁盘满告警：

<table style="width:426.1pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">#&nbsp;ls&nbsp;-lh</p> <p style="margin-left:0pt;">total&nbsp;12G</p> <p style="margin-left:0pt;">-rw-r--r--&nbsp;1&nbsp;redis&nbsp;redis&nbsp;<strong>8.5G</strong>&nbsp;Feb&nbsp;18&nbsp;10:26&nbsp;redis-6379.log</p> <p style="margin-left:0pt;">-rw-r--r--&nbsp;1&nbsp;redis&nbsp;redis&nbsp;1.5G&nbsp;Feb&nbsp;18&nbsp;10:26&nbsp;redis-6380.log</p> <p style="margin-left:0pt;">-rw-r--r--&nbsp;1&nbsp;redis&nbsp;redis&nbsp;2.0G&nbsp;Feb&nbsp;18&nbsp;10:26&nbsp;redis-6381.log</p> </td> 
  </tr> 
 </tbody> 
</table>

查看redis的源代码，可发现每次写日志均是先fopen再fprintf，实现十分简单，毫无日志滚动逻辑：

<table style="width:426.1pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">//&nbsp;<strong>server.c</strong></p> <p style="margin-left:0pt;">void&nbsp;<strong>serverLogRaw</strong>(int&nbsp;level,&nbsp;const&nbsp;char&nbsp;*msg)</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;FILE&nbsp;*fp;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;。。。。。。</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;fp&nbsp;=&nbsp;log_to_stdout?&nbsp;stdout:&nbsp;<strong>fopen</strong>(server.logfile,"a");</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(!fp)&nbsp;return;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;。。。。。。</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;<strong>fflush</strong>(fp);</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(!log_to_stdout)&nbsp;<strong>fclose</strong>(fp);</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(server.syslog_enabled)</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;syslog(syslogLevelMap[level],&nbsp;"%s",&nbsp;msg);</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

显然，这是redis运维需要解决的。最易想到的是自己写脚本滚动日志，比如直接利用日志滚动脚本工具[log\_rotater.sh][log_rotater.sh]。不过这里更推荐Linux系统自带的日志滚动工具logrotate：

<table style="width:426.1pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">#&nbsp;which&nbsp;logrotate</p> <p style="margin-left:0pt;">/usr/sbin/<strong>logrotate</strong></p> <p style="margin-left:0pt;">#&nbsp;which&nbsp;rsyslogd</p> <p style="margin-left:0pt;">/usr/sbin/<strong>rsyslogd</strong></p> </td> 
  </tr> 
 </tbody> 
</table>

Linux系统自带的日志滚动工具logrotate由两部分组成：一是命令行工具logrotate，二是后台服务rsyslogd。

使用rsyslogd，只需简单的配置即可实现日志滚动。rsyslogd的配置文件为/etc/logrotate.conf，但一般不建议直接修改logrotate.conf，而是在目录/etc/logrotate.d下新增文件的方式。logrotate.conf会include所有logrotate.d目录下的文件，语法是一致的，区别是logrotate.conf定义了默认的配置，而logrotate.d目录下为专有配置。

下列为redis的配置示例：

<table style="width:426.1pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">#&nbsp;cat&nbsp;/etc/logrotate.d/redis</p> <p style="margin-left:0pt;">/usr/local/redis/log/redis-6379.log</p> <p style="margin-left:0pt;">/usr/local/redis/log/redis-6380.log</p> <p style="margin-left:0pt;">/usr/local/redis/log/redis-6381.log</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;rotate&nbsp;2</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;minsize&nbsp;100M</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;nocompress</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;missingok</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;create&nbsp;0664&nbsp;redis&nbsp;redis</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;notifempty</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

配置项说明：

1) rotate指定日志文件备份数，如果值为0表示不备份

2) minsize表示日志文件达到多大才滚动

3) nocompress表示是否压缩备份的日志文件

4) missingok如果日志丢失，不报错继续滚动下一个日志

5) notifempty日志文件为空时，不进行轮转，默认值为ifempty

6) create指定创建新日志文件的属性，logrotate是以root运行的，如果目标日志文件非root运行，则这个一定要指定好。

有关logrotate的详细使用，请参考logrotate资料，本文不过多描述。

注意，修改后需要重启下rsyslogd。如果是CentOS可使用下列任意一种方式重启（实际上systemctl新方式，而service实际也是使用systemctl）：

<table style="width:426.1pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0pt;">#&nbsp;service&nbsp;rsyslog&nbsp;restart&nbsp;</p> <p style="margin-left:0pt;">#&nbsp;<strong>systemctl&nbsp;</strong>restart&nbsp;&nbsp;rsyslog.service</p> </td> 
  </tr> 
 </tbody> 
</table>

[log_rotater.sh]: https://github.com/eyjian/libmooon/blob/master/shell/log_rotater.sh