控制Elasticsearch分片和副本的分配

逃离我推掉我的手 2022-06-06 14:39 317阅读 0赞 
  1. ES集群中索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，我们可以处理不能在一个单一的服务器上面运行的大型索引，简单的说就是索引的大小过大，导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本，通过将副本分配到多个服务器，可以提高查询的负载能力。  
  3. 为了进行分片和副本的操作，ES需要确定将这些分片和副本放到集群节点的哪个位置，就是需要确定把每个分片和副本分配到哪台服务器/节点上。

一、显式控制分配

生产情景：

  1. 比如生产环境有三个索引分别为 man、woman、katoey
  2. 希望达到的效果：
  3.        man索引放置在一些集群节点上   
  4.        woman索引又单独放置到集群的另外一些集群节点上
  5.        katoey索引希望放置在所有放置man索引和woman索引的集群节点上
  7. 这么做是因为katoey索引比其他两个索引小很多，因此我们可以将它和其他两个索引一起分配。
  8. 但是基于ES默认算法的处理方法，我们不能确定分片和副本的存放位置，但是ES允许我们对其做相应的控制！

1、指定节点的参数

epei1.png

  1. 如上图所示，我们将ES集群划分为两个”空间”。当然你也可以叫做区域，随便命名。我们将左边的三台ES节点服务器放置到zone\_one的空间上面，将右边的三台ES节点服务器放到zone\_two的空间上。

配置
为了做到我们需要的效果，我们需要将如下属性配置到左边三台ES集群节点服务器的elasticsearch.yml配置文件中

  1. node.zone: zone_one
  3. 将如下属性配置到右边的三台ES集群节点服务器elasticsearch.yml配置文件中
  5. node.zone: zone_two

索引创建
当所有节点配置文件属性配置完成后，我们就可以根据空间名称，我们就可以创建索引放到指定的空间。
首先我们运行如下命令，来创建man索引：

  1. curl -XPOST "http://ESnode:9200/man'
  2.   curl -XPUT "http://ESnode:9200/man/_settings' -d '{
  3.    "index.routing.allocation.include.zone" : "zone_one"
  4.    }'
  6. 第一条命令是创建man索引；第二条命令是发送到\_settings  REST 端点，用来指定这个索引的其他配置信息。我们将index.routing.allocation.include.zone属性设置为zone\_one值，就是我们所希望的把man索引放置到node.zone属性值为zone\_one的ES集群节点服务器上。  
  8. 同样对woman索引我们做类似操作：
  10. curl -XPOST "http://ESnode:9200/woman'
  11.   curl -XPUT "http://ESnode:9200/woman/_settings' -d '{
  12.    "index.routing.allocation.include.zone" : "zone_two"
  13.    }'
  15. 不同的是，这次指定woman索引放置在node.zone属性值为zone\_two的ES集群节点服务器上  
  17. 最后我们需要将katoey索引放置到上面所有的ES集群节点上面，配置设置命令如下：
  19. curl -XPOST "http://ESnode:9200/katoey"
  20.   curl -XPUT "http://ESnode:9200/katoey/_settings" -d '{
  21.   "index.routing.allocation.include.zone" : "zone_one,zone_two"
  22.   }'

2、分配时排除节点
跟我们上面操作为索引指定放置节点位置一样，我们也可以在索引分配的时候排除某些节点。参照之前的例子，我们新建一个people索引，但是不希望people索引放置到zone_one的ES集群节点服务器上，我们可以运行如下命令操作：

  1. curl -XPOST "http://EScode:9200/people"
  2.  curl -XPUT "http://EScode:9200/people/_settings" -d '{
  3.   "index.routing.allocation.exclude.zone" : "zone_one"
  4.   }'
  6. 请注意， 在这里我们使用的是index.routing.allocation.exclude.zone属性而不是index.routing.allocation.include.zone属性。

使用IP地址进行分配配置
除了在节点的配置中添加一些特殊的属性参数外，我们还可以使用IP地址来指定你将分片和副本分配或者不分配到哪些节点上面。为了做到这点，我们应该使用_ip属性，把zone换成_ip就好了。例如我们希望lucky索引分配到IP地址为10.0.1.110和10.0.1.119的节点上，我们可以运行如下命令设置：

  1. curl -XPOST "http://ESnode:9200/lucky"
  2.   curl -XPUT "http://ESnode:9200/lucky/_settings" -d '{
  3.   "index.routing.allocation.include._ip" "10.0.1.110,10.0.1.119"
  4.   }'

二、集群范围内分配

  1.  除了索引层面指定分配活着排除分配之外(上面我们所做的都是这两种情况),我们还可以指定集群中所有索引的分配。例如，我们希望将所有的新索引分配到IP地址为10.0.1.112和10.0.1.114的节点上，我们可以运行如下命令设置：
  3. curl -XPUT "http://ESnode:9200/_cluster/settings" -d '{
  4.   "transient" : {
  5.    "cluster.routing.allocation.include._ip" "10.0.1.112,10.0.1.114"
  6.    }
  7.   }'
  9. 集群级别的控制后续还会分享transient和persistent属性介绍

三、每个节点上分片和副本数量的控制

  1. 除了指定分片和副本的分配，我们还可以对一个索引指定每个节点上的最大分片数量。例如我们希望ops索引在每个节点上只有一个分片，我们可以运行如下命令：
  3. curl -XPUT "http://ESnode:9200/ops/_settings" -d '{
  4.   "index.routing.allocation.total_shards_per_node" : 1
  5.   }'
  7. 这个属性也可以直接配置到elasticsearch.ym配置文件中，或者使用上面命令在 活动索引 上更新。如果配置不当，导致主分片无法分配的话，集群就会处于red状态。

四、手动移动分片和副本

  1. 接下来我们介绍一下节点间手动移动分片和副本。可以使用ElasticSearch提供的\_cluster/reroute  REST 端点进行控制，能够进行下面操作：
  • 将一个分片从一个节点移动到另外一个节点
  • 取消对分片的分配
  • 强制对分片进行分配

移动分片
假设我们有两个节点：es_node_one和es_node_two，ElasticSearch在es_node_one节点上分配了ops索引的两个分片，我们现在希望将第二个分片移动到es_node_two节点上。可以如下操作实现：

  1. curl -XPOST "http://ESnode:9200/_cluster/reroute' -d  '{
  2.    "commands" : [ {
  3.    "move" : {
  4.    "index" : "ops",
  5.    "shard" : 1,
  6.    "from_node" : "es_node_one",
  7.    "to_node" : "es_node_two"
  8.    }
  9.   }]
  10.   }'
  12. 我们通过move命令的index属性指定移动哪个索引,通过shard属性指定移动哪个分片，最终通过from\_node属性指定我们从哪个节点上移动分片，通过to\_node属性指定我们希望将分片移动到哪个节点。

取消分配
如果希望取消一个正在进行的分配过程，我们通过运行cancel命令来指定我们希望取消分配的索引、节点以及分片，如下所示：

  1. curl -XPOST "http://ESnode:9200/_cluster/reroute" -d '{
  2.   "commands" : [ {
  3.   "cancel" : {
  4.   "index" : "ops",
  5.   "shard" : 0,
  6.   "node" : "es_node_one"
  7.   }
  8.   } ]
  9.   }'
  11. 运行上面的命令将会取消es\_node\_one节上ops索引的第0个分片的分配

分配分片
除了取消和移动分片和副本之外，我们还可以将一个未分配的分片分配到一个指定的节点上。假设ops索引上有一个编号为0的分片尚未分配，并且我们希望ElasticSearch将其分配到es_node_two上，可以运行如下命令操作：

  1. curl -XPOST "http://ESnode:9200/_cluster/reroute' -d '{
  2.   "commands" : [ {
  3.    "allocate" : {
  4.     "index" : "ops",
  5.     "shard" : 0,
  6.     "node" : "es_node_two"
  7.     }
  8.    } ]
  9.    }'

一次HTTP请求包含多个命令
我们可以在一次HTTP请求中包含多个命令，例如：

  1. curl -XPOST "http://ESnode:9200/_cluster/reroute" -d '{
  2.    "commands" : [
  3.      {"move" : {"index" : "ops", "shard" : 1, "from_node" : "es_node_one", "to_node" : "es_node_two"}},
  4.      {"cancel" : {"index" : "ops", "shard" : 0, "node" : "es_node_one"}}
  5.     ]
  6.  }'

发表评论

表情：
评论列表 （有 0 条评论，317人围观）

还没有评论，来说两句吧...

相关阅读