数据备份操作

落日映苍穹つ 2023-02-12 15:26 4阅读 0赞

到这里为止，其实还是停留在简单学习知识的程度，学会了redis的持久化的原理和操作，但是在企业中，持久化到底是怎么去用得呢？

企业级的数据备份和各种灾难下的数据恢复，是怎么做得呢？

1、企业级的持久化的配置策略

在企业中，RDB的生成策略，用默认的也差不多

save 60 10000：如果你希望尽可能确保说，RDB最多丢1分钟的数据，那么尽量就是每隔1分钟都生成一个快照，低峰期，数据量很少，也没必要

10000->生成RDB，1000->RDB，这个根据你自己的应用和业务的数据量，你自己去决定

AOF一定要打开，fsync，everysec

auto-aof-rewrite-percentage 100: 就是当前AOF大小膨胀到超过上次100%，上次的两倍  
auto-aof-rewrite-min-size 64mb: 根据你的数据量来定，16mb，32mb

2、企业级的数据备份方案

RDB非常适合做冷备，每次生成之后，就不会再有修改了

数据备份方案

（1）写crontab定时调度脚本去做数据备份  
（2）每小时都copy一份rdb的备份，到一个目录中去，仅仅保留最近48小时的备份  
（3）每天都保留一份当日的rdb的备份，到一个目录中去，仅仅保留最近1个月的备份  
（4）每次copy备份的时候，都把太旧的备份给删了  
（5）每天晚上将当前服务器上所有的数据备份，发送一份到远程的云服务上去

/usr/local/redis

每小时copy一次备份，删除48小时前的数据

crontab -e

0 \* \* \* \* sh /usr/local/redis/copy/redis\_rdb\_copy\_hourly.sh

redis\_rdb\_copy\_hourly.sh

\#!/bin/sh

cur\_date=\`date +%Y%m%d%k\`  
rm -rf /usr/local/redis/snapshotting/$cur\_date  
mkdir /usr/local/redis/snapshotting/$cur\_date  
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur\_date

del\_date=\`date -d -48hour +%Y%m%d%k\`  
rm -rf /usr/local/redis/snapshotting/$del\_date

每天copy一次备份

crontab -e

0 0 \* \* \* sh /usr/local/redis/copy/redis\_rdb\_copy\_daily.sh

redis\_rdb\_copy\_daily.sh

\#!/bin/sh

cur\_date=\`date +%Y%m%d\`  
rm -rf /usr/local/redis/snapshotting/$cur\_date  
mkdir /usr/local/redis/snapshotting/$cur\_date  
cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur\_date

del\_date=\`date -d -1month +%Y%m%d\`  
rm -rf /usr/local/redis/snapshotting/$del\_date

每天一次将所有数据上传一次到远程的云服务器上去

3、数据恢复方案

（1）如果是redis进程挂掉，那么重启redis进程即可，直接基于AOF日志文件恢复数据

不演示了，在AOF数据恢复那一块，演示了，fsync everysec，最多就丢一秒的数

（2）如果是redis进程所在机器挂掉，那么重启机器后，尝试重启redis进程，尝试直接基于AOF日志文件进行数据恢复

AOF没有破损，也是可以直接基于AOF恢复的

AOF append-only，顺序写入，如果AOF文件破损，那么用redis-check-aof fix

（3）如果redis当前最新的AOF和RDB文件出现了丢失/损坏，那么可以尝试基于该机器上当前的某个最新的RDB数据副本进行数据恢复

当前最新的AOF和RDB文件都出现了丢失/损坏到无法恢复，一般不是机器的故障，人为

大数据系统，hadoop，有人不小心就把hadoop中存储的大量的数据文件对应的目录，rm -rf一下，我朋友的一个小公司，运维不太靠谱，权限也弄的不太好

/var/redis/6379下的文件给删除了