Elasticsearch的数据备份与恢复

深藏阁楼爱情的钟 2023-08-17 15:32 124阅读 0赞

# 1 序言 #

Elasticsearch默认配置是数据持久化的，就是ES会定时地把缓存数据刷新到硬盘，从而达到数据持久化地效果。在生产环境中，ES的数据持久化是必须的，防止出现断电时数据的丢失。当然，除了数据持久化外，我们也是得做到数据备份的，防止出现数据损坏时无法恢复数据的情况。

下面开始介绍ES的数据备份和恢复。

# 2 ES环境 #

在开始ES的数据备份和恢复之前，我们得确保服务器的ES环境时搭建好的，这里就不多做介绍了，若有不懂的可以查看这篇ES入门文章了解下：[https://blog.csdn.net/qq\_15092079/article/details/81411334][https_blog.csdn.net_qq_15092079_article_details_81411334]。

在搭建ES环境中需要注意的几点：

*  JDK的安装配置，ES的启动时依赖于JDK的
 *  需要另外创建个用户来启动ES，root用户是不能启动ES的
 *  启动时的vm.max\_map\_count的报错问题
 *  ES默认是只能让本机访问，若需要远程访问还需修改文件elasticsearch.yml的network.host
 *  kibana数据可视化界面的安装

# 3 备份数据 #

## 3.1 配置文件elasticsearch.yml ##

在配置文件 config/elasticsearch.yml 中添加一行数据，设置ES备份的快照数据存储路径。若是没有此目录则需要自行创建。配置好后，需要重启ES。

path.repo: /usr/elasticsearch/snapshot

## 3.2 创建仓库 ##

其实就是在ES库中创建一个备份存储的目的仓库，这里以仓库名称为 backup 为例，有如下两种方式。

（1）在linux服务器上执行以下命令。

> curl  -H "Content-Type: application/json" -XPUT http://ES的ip:端口/\_snapshot/backup -d '\{"type": "fs","settings": \{"location": "/home/docker/back"\}\}'

（2）在kibana的Dev Tools开发工具中调用接口。

> PUT \_snapshot/backup  
> \{  
>   "type": "fs",  
>   "settings": \{  
>     "location": "data\_bk",
> 
>     "compress": true,
> 
>     "max\_snapshot\_bytes\_per\_sec" : "50mb",
> 
>     "max\_restore\_bytes\_per\_sec" : "50mb"
> 
>   \}  
> \}

调用参数说明：

compress，是否压缩，默认为是。

max\_snapshot\_bytes\_per\_sec，每个节点快照速率。默认40mb/s。

max\_restore\_bytes\_per\_sec，节点恢复速率。默认40mb/s。

返回结果如下，则说明创建成功。

> \{  
>     "acknowledged": true  
> \}

## 3.3 删除备份数据 ##

在备份数据之前，最好是先根据备份数据的名称删除原来已经备份好的数据。相同名称的备份数据是不能重复备份的。

这里以备份数据的名称为 bk\_20190926 为例，后面的执行都以此为例，有如下两种方式。

（1）在linux服务器上执行以下命令。

> curl -XDELETE http://ES的ip:端口/\_snapshot/backup/bk\_20190926

（2）在kibana的Dev Tools开发工具中调用接口。

> DELETE \_snapshot/backup/bk\_20190926

返回结果如下，则说明删除成功。

> \{  
>     "acknowledged": true  
> \}

## 3.4 开始备份数据 ##

备份数据同样是与删除数据一样，直接调用ES的接口实现的，有如下两种方式。

（1）在linux服务器上执行以下命令。

> curl -XPUT http://ES的ip:端口/\_snapshot/backup/bk\_20190926?wait\_for\_completion=true

（2）在kibana的Dev Tools开发工具中调用接口。

> PUT \_snapshot/backup/bk\_20190926?wait\_for\_completion=true

返回结果如下，则说明已经备份成功。

> \{  
>     "snapshot": \{  
>         "snapshot": "bk\_20190926",  
>         "uuid": "K4fze5eGSvOwot\_xWtz0Hw",  
>         "version\_id": 6050399,  
>         "version": "6.5.3",  
>         "indices": \[  
>             "first\_index"  
>         \],  
>         "include\_global\_state": true,  
>         "state": "SUCCESS",  
>         "start\_time": "2019-09-27T05:36:39.398Z",  
>         "start\_time\_in\_millis": 1569562599398,  
>         "end\_time": "2019-09-27T05:36:39.723Z",  
>         "end\_time\_in\_millis": 1569562599723,  
>         "duration\_in\_millis": 325,  
>         "failures": \[\],  
>         "shards": \{  
>             "total": 5,  
>             "failed": 0,  
>             "successful": 5  
>         \}  
>     \}  
> \}

同时，可以在ES所在的服务器的目录 /usr/elasticsearch/snapshot/data\_bk 下查看到增加了很多文件，这些就是备份数据所需的文件。

## 3.5 查看备份数据 ##

备份完数据后，直接在服务器上可以看到这些备份的文件，但是这些文件并不是一眼就能看出你备份了哪些数据的，此时你可以通过调用ES的接口来查看你备份了哪些数据。同样有两种方式调用。

（1）在linux服务器上执行以下命令。

> curl -XGET http://ES的ip:端口/\_snapshot/backup/\_all

（2）在kibana的Dev Tools开发工具中调用接口。

> GET \_snapshot/backup/\_all

返回结果如下，你备份了多少快照都可以在这里看到，snapshots列表的最后一个元素就是你最近备份的快照。

> \{  
>     "snapshots": \[  
>         \{  
>             "snapshot": "bk\_20190926",  
>             "uuid": "K4fze5eGSvOwot\_xWtz0Hw",  
>             "version\_id": 6050399,  
>             "version": "6.5.3",  
>             "indices": \[  
>                 "first\_index"  
>             \],  
>             "include\_global\_state": true,  
>             "state": "SUCCESS",  
>             "start\_time": "2019-09-27T05:36:39.398Z",  
>             "start\_time\_in\_millis": 1569562599398,  
>             "end\_time": "2019-09-27T05:36:39.723Z",  
>             "end\_time\_in\_millis": 1569562599723,  
>             "duration\_in\_millis": 325,  
>             "failures": \[\],  
>             "shards": \{  
>                 "total": 5,  
>                 "failed": 0,  
>                 "successful": 5  
>             \}  
>         \}  
>     \]  
> \}

# 4 恢复数据 #

数据备份好了，如果真的出现了不可逆的数据损坏情况，此时就可以进行数据恢复了。

## 4.1 备份data文件夹 ##

data文件夹其实就是当前ES的数据存储地，防止恢复数据出现异常，先把ES目录下面的data目录备份一下。

tar -cvf data-20190626.tar.gz data

## 4.2 清空数据 ##

恢复数据之前，先把当前ES的数据清空掉。有如下两种方式。

（1）在linux服务器上执行以下命令。

> curl -XDELETE http://ES的ip:端口/\_all

（2）在kibana的Dev Tools开发工具中调用接口。

> DELETE \_all

返回结果如下，则说明清空数据成功。