Elasticsearch索引的基本操作(3)-索引的滚动操作

迷南。 2022-01-14 05:31 791阅读 0赞

# **1、说明** #

笔者的工作场景中，每天需要使用Elasticsearch处理数亿的日志记录，这些数据之间不会有直接的关系，只是用于记录以及用作后续的分析处理以及报表输出。如果都将这些数据所有的数据都放到相同的索引中，那随着时间的堆积，这无疑将会是非常庞大的数据，并且随着索引数量的增加，后续数据的插入和查询，都将会变得越来越慢。

Elasticsearch中提供了对滚动索引（rollover index）的支持，可以给索引设置一定的条件，并指定一个对外使用的索引别名，当索引达到指定的条件时，就会按照一定的规则建立新的索引，对应的别名也会指向新的索引，后续的数据就会写到新建的索引中。由于外部应用使用的是索引的别名，对这种变化也是完全无感知的。

**触发滚动索引的参数**

<table style="margin-left:25.55pt;width:400.55pt;"> 
 <tbody> 
  <tr> 
   <td style="width:100pt;"> <p style="margin-left:0pt;"><strong><strong>参数名</strong></strong></p> </td> 
   <td style="width:300.55pt;"> <p style="margin-left:0pt;"><strong><strong>说明</strong></strong></p> </td> 
  </tr> 
  <tr> 
   <td style="width:100pt;"> <p style="margin-left:0pt;">max_age</p> </td> 
   <td style="width:300.55pt;"> <p style="margin-left:0pt;">指定索引存在的最大周期，如1d,7d,1m,1y</p> </td> 
  </tr> 
  <tr> 
   <td style="width:100pt;"> <p style="margin-left:0pt;">max_docs</p> </td> 
   <td style="width:300.55pt;"> <p style="margin-left:0pt;">存放的最的索引文档数，这个不包括副本中的索引文档数</p> </td> 
  </tr> 
  <tr> 
   <td style="width:100pt;"> <p style="margin-left:0pt;">max_size</p> </td> 
   <td style="width:300.55pt;"> <p style="margin-left:0pt;">索引中主分片所占用的空间大小</p> </td> 
  </tr> 
 </tbody> 
</table>

这几个条件可以同时设置，只要有其中一项条件达到了，就会触发建立新的索引的动作。

通过滚动操作生成的新的索引的名称，可以通过手工指定索引名称的方式，如果源索引的名称符合自动生成新的索引名称的要求，滚动生成的索引则会根据源索引名称，自动生成新的索引名称，以下是滚动索引名称自动生成的两种情况

*  索引名称以索引名称的前缀、中划线“-”和数字这三部份构成，如logs-1、logs-01、logs-123456、logs-1234567等；中划线“-”后面的数字的长度小于6位，则生成的滚动索引的名称会自动用数字0补齐为6位，如logs-1、logs-01两个生成的下一个滚动索引的名称是logs-000002，因而在设定滚动索引时，要避免这种情况，否则后生成的会报索引已经存在的异常；中划线“-”后面的数字的长度大于等于6位的，则生成滚动索引时，会在该数字的基础之上，往上加1，如logs-123456生成的下个滚动索引是logs-123457，logs-1234567生成的下个滚动索引是logs-1234568。
 *  索引名称中包括日期的算式，由索引名称前缀、中划线“-”、日期算式、中划线“-”和数字这五部份构成，如logs-\{now/d\}-1，生成的滚动索引会在最后的数字的基础之上加1，数字补齐的规则和上面的用0补齐规则是一样的。

# **2、不符合自动生成滚动索引的示例** #

1）创建了一个名为logs\_index\_cannot\_rollover的索引，并为其指定了别名logs\_index：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">PUT /logs_index_cannot_rollover</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"aliases": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"logs_index": {}</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

响应：

表示操作成功。

2）往其中写入2条数据：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">POST /logs_index/_doc</p> <p style="margin-left:0pt;">{ "name":"feng" }</p> </td> 
  </tr> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">POST /logs_index/_doc</p> <p style="margin-left:0pt;">{ "name":"feng1" }</p> </td> 
  </tr> 
 </tbody> 
</table>

3）给上面的生成的索引指定滚动生成新的索引的条件，这里为了演示上的方便，为其设置条件max\_dos为1：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">POST /logs_index/_rollover/logs_index_cannot_rollover-1</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"max_docs": &nbsp;1</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

由于这里的源索引不符合自动生成新的滚动索引名称的要求，因而这里必须指定目标索引，否则会报错，其中logs\_index\_cannot\_rollover-1为后面用于生成的新的滚动索引的名称。

响应：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"acknowledged" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"shards_acknowledged" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"old_index" : "logs_index_cannot_rollover",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"new_index" : "logs_index_cannot_rollover-1",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"rolled_over" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"dry_run" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions" : { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"[max_docs: 1]" : false</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

表示滚动请求执行成功了，生成了新的索引logs\_index\_cannot\_rollover，别名logs\_index会从自动从原索引logs\_index\_cannot\_rollover上自动删除，然后指向新生成的索引，后续新生成的文档也会自动插入到新的索引中。

# 3、**符合自动生成滚动索引的示例** #

## **3.1 索引名称符合数字格式要求的示例** ##

1）创建索引

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">PUT /logs_index-001</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"aliases": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"logs_index_auto": {}</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

1.  写入两条测试数据，请参考前面的数据写入示例。
2.  执行滚动索引操作，不指定目标索引名称

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">POST /logs_index_auto/_rollover</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"max_docs": &nbsp;1</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

响应：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"acknowledged" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"shards_acknowledged" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"old_index" : "logs_index-001",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"new_index" : "logs_index-000002",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"rolled_over" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"dry_run" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions" : { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"[max_docs: 1]" : false</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

该响应中可以看到，生成了新的索引logs\_index-000002。

## 3.2 **索引名称符合日期算式格式要求的示例** ##

1）创建索引，此时索引名称中包含了表达式和特殊字符，因而在执行请求前，需要将其进行URL编码操作，如下所示：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">#/&lt;logs_index_date_auto-{now/d}-001&gt;</p> <p style="margin-left:0pt;">PUT /%3clogs_index_date_auto-%7bnow%2fd%7d-001%3e</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"aliases": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"logs_index_date_auto": {}</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

响应：

提示成功创建了索引，名称为logs\_index\_date\_auto-2019.05.03-001。

2）写入两条测试数据，请参考前面的数据写入示例。

3）执行滚动索引操作，不指定目标索引名称：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">POST /logs_index_date_auto/_rollover</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions": { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"max_docs": &nbsp;1</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

响应：

<table style="margin-left:28.05pt;width:398.05pt;"> 
 <tbody> 
  <tr> 
   <td style="width:398.05pt;"> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">&nbsp;&nbsp;"acknowledged" : true,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"shards_acknowledged" : true,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"old_index" : "logs_index_date_auto-2019.05.03-001",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"new_index" : "logs_index_date_auto-2019.05.03-000002",</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"rolled_over" : true,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"dry_run" : false,</p> <p style="margin-left:0pt;">&nbsp;&nbsp;"conditions" : { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;"[max_docs: 1]" : true</p> <p style="margin-left:0pt;">&nbsp;&nbsp;}</p> <p style="margin-left:0pt;">}</p> </td> 
  </tr> 
 </tbody> 
</table>

提示生成了新的索引，名称为logs\_index\_date\_auto-2019.05.03-000002。

滚动索引创建新的索引的过程，与单独创建新的索引的过程是类似的，可以从符合符合的索引模板中自动读取配置、别名、mappings等信息，也单个在执行滚动(\_rollover)这一动作时，同时指定新索引的配置、别名、mappings等信息，在些就不举例了。

滚动索引提供了一种新建索引不影响对外使用的方式，但其本身还不够智能，需要配合一些外部的自动化方法才可以做得更好，如定期执行滚动操作等，而不是由Elasticsearch本身去判断。