ElasticSearch入门第二篇：集群配置ES2.4

向右看齐 2022-12-07 01:21 335阅读 0赞

这是ElasticSearch 2.4 版本系列的第二篇：

*  [ElasticSearch入门 第一篇：Windows下安装ElasticSearch][ElasticSearch_ _Windows_ElasticSearch]
 *  [ElasticSearch入门 第二篇：集群配置][ElasticSearch_]
 *  [ElasticSearch入门 第三篇：索引][ElasticSearch_ 1]
 *  [ElasticSearch入门 第四篇：使用C\#添加和更新文档][ElasticSearch_ _C]
 *  [ElasticSearch入门 第五篇：使用C\#查询文档][ElasticSearch_ _C 1]
 *  [ElasticSearch入门 第六篇：复合数据类型——数组，对象和嵌套][ElasticSearch_ 2]
 *  [ElasticSearch入门 第七篇：分析器][ElasticSearch_ 3]
 *  [ElasticSearch入门 第八篇：存储][ElasticSearch_ 4]
 *  [ElasticSearch入门 第九篇：实现正则表达式查询的思路][ElasticSearch_ 5]

ElasticSearch共有两个配置文件，都位于config目录下，分别是elasticsearch.yml和logging.yml，其中，elasticsearch.yml 是全局配置文件，用于在服务器级别对ElasticSearch进行配置。ElasticSearch的配置选项分为静态设置和动态设置两种，静态设置必须在结点级别（node-level）设置，或配置在elasticsearch.yml配置文件中，或配置在环境变量中，或配置在命令行中，在结点启动之后，静态设置不能修改。集群的名字和结点的名称：cluster.name 和 node.name，这两个配置项是静态配置项，不能在集群运行时修改，而动态配置项可以在集群运行时通过RESTful API进行修改。

**一，****配置集群的标识（cluster.name）**

通过 cluster.name 属性配置集群的名字，用于唯一标识一个集群，不同的集群，其 cluster.name 不同，集群名字相同的所有节点自动组成一个集群。如果不配置改属性，默认值是：elasticsearch。当启动一个结点时，该结点会自动寻找相同集群名字的主结点；如果找到主结点，该结点加入集群中；如果未找到主结点，该结点成为主结点。

**注意：在yml中对Elasticsearch进行全局配置，要注意配置选项的格式：option: value，在“:”之后保留一个空格，之后是选项值；配置选项不要有前置空格。**

配置集群的名字为myescluster

cluster.name: myescluster

**二，结点的配置**

ElasticSearch集群中，共有五种结点类型：主结点（Master），候选主结点（Master-eligible），数据结点（Data），吸收结点（Ingest）和部落结点（Tribe）。在一个集群中，主结点只有一个，负责管理集群，执行集群级别的操作，比如创建或删除索引，跟踪集群的组成结点的状态，决定将分片分配的目标结点，对集群来说，一个稳定的主结点十分重要。集群会自动进行健康检测，当主结点出现故障时，集群中的候选主结点进行选举，在选举结束之后，一个候选主结点被选举成为新的主结点，实现集群故障的自动转移。候选主结点具有投票权，其他结点没有投票权。

**1，配置候选主结点和数据结点**

默认情况下，ElasticSearch将当前节点配置为同时作为候选主结点和数据结点：

*  **node.data:true** 配置该结点是数据结点，用于保存数据，执行数据相关的操作（CRUD，Aggregation）；
 *  **node.master:true** 配置该结点有资格被选举为主结点（候选主结点），用于处理请求和管理集群。如果结点没有资格成为主结点，那么该结点永远不可能成为主结点；如果结点有资格成为主结点，只有在被其他候选主结点认可和被选举为主结点之后，才真正成为主结点。

配置当前结点只保存数据：

node.master: false
    node.data: true

配置当前结点不保存数据，只做候选主结点：

node.master: false
    node.data: true

**2，主结点选取的配置**

discovery.zen.minimum\_master\_nodes 属性：默认值是1，该属性定义的是为了组成一个集群，相互连接的候选主结点的最小数目，强烈推荐该属性的设置使用多数原则：(master\_eligible\_nodes / 2) + 1，既能避免出现脑裂（split-brain），又能在故障发生后，快速选举出新的主结点，例如，有5个候选主结点，推荐把该属性设置为3。

**3，结点的路径（Path）**

默认情况下，ElasticSearch使用基于安装目录的相对路径来配置结点的路径，安装目录由属性path.home显示，在home path下，ElasticSearch自动创建config，data，logs和plugins目录，一般情况下不需要对结点路径单独配置。结点的文件路径配置项：

*  path.config 设置ElasticSearch的配置文件保存的目录；
 *  path.data 设置ElasticSearch结点的索引数据保存的目录，多个数据文件使用逗号隔开，例如，path.data: /path/to/data1,/path/to/data2；
 *  path.logs 设置ElasticSearch结点的日志文件保存的目录；
 *  path.plugins  设置ElasticSearch插件安装的目录；
 *  path.work 设置ElasticSearch的临时文件保存的目录；

**4，单个ElasticSearch实例的Java虚拟机（JVM）的堆内存限制**

ElasticSearch实例必须运行在安装JDK的机器上，在安装完Java Runtime组件之后，必须创建系统变量JAVA\_HOME，指定JDK安装的位置，比如：

**JAVA\_HOME: C:\\Program Files\\Java\\jre1.8.0\_121\\bin**

默认的JVM内存限制是 1GB，对小项目而言，1GB内存足够使用，不会出现问题，但是，对大项目而言，这个默认限制太小了，如果日志文件中经常出现OutOfMemoryError异常消息，就考虑重新设置 ES\_HEAP\_SIZE 环境变量，为JVM分配足够的内存，同时，必须为OS分配足够的内存，建议JVM使用的物理内存最大不应超过32GB，推荐分配机器物理内存的50%，在Windows中创建新的系统环境变量 ES\_HEAP\_SIZE，设置堆内存大小为5G：

![4285111c78ebfeafc6009817ab6413c4.png][]

**环境变量**  
ElasticSearch 首先读取通用的**JAVA\_OPTS**环境变量来获取JVM参数， 除了可以用JAVA\_OPTS配置JVM参数外， 还可以通过ElasticSearch提供的ES\_JAVA\_OPTS环境变量配置JVM参数， ES\_JAVA\_OPTS会覆盖JAVA\_OPTS中配置的相同参数， 官方建议是在JAVA\_OPTS中配置通用的参数， 在ES\_JAVA\_OPTS中配置针对Elasticsearch需要调整的参数。环境变量最主要的作用是指定 -Xmx 最大堆大小和 -Xms 最小堆大小。

JAVA\_OPTS ，是用来设置JVM相关运行参数的环境变量，例如：JAVA\_OPTS="-server -Xms2048m -Xmx2048m"

*  \-server:一定要作为第一个参数，在多个CPU时性能佳
 *  \-Xms：初始Heap大小，使用的最小内存,cpu性能高时此值应设的大一些
 *  \-Xmx：java heap最大值，使用的最大内存

上面两个值是分配JVM的最小和最大内存，取决于硬件物理内存的大小，建议均设为物理内存的一半。

**三，索引配置**

**1，配置索引的分片(shard)和副本(replica)数量**

默认的配置是把索引分为5个分片，每个分片1个副本，共10个结点：

index.number_of_shards: 5
    index.number_of_replicas: 1

禁用索引的分布式特性，使索引只创建在本地主机上：

index.number_of_shards: 1
    index.number_of_replicas: 0

**2，当前节点锁住内存**

当JVM做分页切换（swapping）时，ElasticSearch执行的效率会降低，推荐把ES\_MIN\_MEM和ES\_MAX\_MEM两个环境变量设置成同一个值，并且保证机器有足够的物理内存分配给ES，同时允许ElasticSearch进程锁住内存：

bootstrap.mlockall: true

**3，断路器（Circuit Breaker）控制内存的使用量**

断路器用于阻止产生OutOfMemoryError的操作，每一个断路器设置一个内存使用的上限，一旦操作达到该上限，ElasticSearch将阻止该操作继续使用内存。设置较多，一般不需要修改，保持默认值：

*  indices.breaker.total.limit： defaults to 70% of JVM heap
 *  indices.breaker.request.limit： defaults to 60% of JVM heap
 *  indices.breaker.request.overhead： defaults to 1
 *  network.breaker.inflight\_requests.limit： defaults to 100% of JVM heap
 *  network.breaker.inflight\_requests.overhead： defaults to 1
 *  script.max\_compilations\_per\_minute： defaults to 15

**4，字段数据缓存**

在对一个字段执行排序或聚合操作时，使用字段数据缓存（field data cache）将该字段的值加载到内存，以加快查询的速度。加载字段数据还原是IO密集的操作，推荐分配足够的内存，并且不分配过期时间：

*  indices.fielddata.cache.size，控制结点级别的字段数据缓存大小，默认值是无限大（unbounded），建议分配足够的物理内存；
 *  indices.fielddata.cache.expire，控制字段数据缓存的过期时间，默认值是字段数据永不过期；
 *  indices.breaker.fielddata.limit，断路器，默认值是JVM堆内存的 80%；当加载字段值所需要的内存超过JVM堆内存的80%，将引发异常；
 *  indices.breaker.fielddata.overhead： 断路器，默认值是1.03；

**5，结点查询缓存：**

查询缓存用于缓存查询的结果，每一个节点都有一个查询缓存，缓存过期使用LRU淘汰策略（Least Recently Used eviction）：当缓存满时，最近最少使用的数据被淘汰，从缓存中清除，以存储新的数据。

*  indices.queries.cache.enabled，默认值是true；
 *  indices.queries.cache.size，默认值是10%；

**6，索引缓存**

索引缓存用于存储最新的索引文档（newly indexed documents），当该缓存填充满时，缓存的文件将被写入到磁盘中的段（segment）中。

*  indices.memory.index\_buffer\_size，默认值是10%，在单个结点上，所有索引的分片占用的最大内存大小，或占用JVM堆内存的百分比；
 *  indices.memory.min\_index\_buffer\_size，当indices.memory.index\_buffer\_size指定为百分比时，使用该选项配置绝对值，默认值是48MB；
 *  indices.memory.max\_index\_buffer\_size，当indices.memory.index\_buffer\_size指定为百分比时，使用该选项配置绝对值，默认值是无限大；

**7，分片请求缓存：**

*  indices.requests.cache.enable：默认值是true
 *  indices.requests.cache.size: 默认值是1%

当对一个索引执行查找请求（Search Request）时，每一个相关的分片（involved shard）都在本地执行查询，返回查询结果（local result）给协调结点（coordinating node）进行组合（combine），将各个分片的结果合并为最终的结果集返回。分片请求缓存对每个分片的查询结果进行缓存。

**8，索引的刷新频率**

索引对象刷新的频率，刷新频率越低，文档对搜索操作可视的时间越长：

*  index.refresh\_interval，在索引级别指定索引的刷新频率，默认值是1s

**9，段（Segment）合并**

每个索引分为多个段（Segment），一个段写入硬盘后，就不能再被更新，因此，被删除文档的信息存储在一个单独的文件中。ElasticSearch支持文档的更新，在底层，实际上是删除旧文档，再把更新内存的文档编入索引。在查找时，需要从返回结果中过滤掉已删除的文档。

如果数据更新或删除的数据比较多，那么每个段中的有效数据密度会变低，降低了查询的性能，通过段合并，将已删除的数据从段（Segment）中物理删除，能够提高搜索性能，合并的过程是：底层的Lucene库获取若干段，从段中过滤已删除的数据，保存到一个新的段上；段合并完成之后，将源段从硬盘上物理删除；段合并操作的CPU和IO的消耗是非常高的，必须控制段合并执行的频率和时机。

**段合并的策略控制段合并的时机，在适当的条件下进行段合并：**

*  index.merge.policy.type，有效值：tiered，log\_byte\_size,log\_doc
    
     *  tiered：默认的合并策略，合并尺寸大致相似的段
     *  log\_byte\_size：根据文档的字节数量进行合并
     *  log\_doc：根据文档的数量进行合并

**段合并的线程控制，以串行或并发方式执行段合并：**

*  index.merge.scheduler.type，有效值：serial（串行），concurrent（并发）

**合并因子控制段合并的频率，合并因子越小，合并的频率越高：**

*  index.merge.policy.merge\_factor，默认值是10

**段合并调节器，限制合并的速度：**

*  indices.store.throttle.type，有效值：none,merge,all
 *  indices.store.throttle.max\_bytes\_per\_sec:默认值10mb

**四，集群的网络配置**

**1，结点的IP地址配置**

配置当前结点绑定的IP地址，默认为0.0.0.0

network.bind_host: 192.168.0.1

设置其它结点和该结点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址

network.publish_host: 192.168.0.1

同时设置bind\_host和publish\_host两个参数

network.host: 192.168.0.1

**2，设置结点间交互的TCP端口，默认是9300**

transport.tcp.port: 9300

**3，设置对外服务的HTTP端口，默认为9200**

http.port: 9200

**4，设置是否压缩TCP传输时的数据，默认为false，不压缩**

transport.tcp.compress: true

**5，设置HTTP包内容的最大容量，默认100mb**

http.max_content_length: 100mb

**6，是否启用HTTP协议对外提供服务，默认为true，开启**

http.enabled: true

**五，集群的发现机制（Discovery）**

ElasticSearch使用zen发现来寻找结点和选举主结点，组建集群；zen发现默认使用多播，但是，单播发现比较安全，推荐使用单播发现。

**1，配置多播（multicast）**

多播（multicast）是zen发现的默认方法，主要有以下配置选项：

*  discovery.zen.ping.multicast.group：用于多播请求的群组地址，默认值是224.2.2.4；
 *  discovery.zen.ping.multicast.port：设置多播通信的端口，默认值是54328；
 *  discovery.zen.ping.multicast.ttl；设置多播请求被认为有效的时间，默认值是3s；
 *  discovery.zen.ping.multicast.address：设置ElasticSearch绑定的网络接口，默认为null，意味着ElasticSearch尝试绑定所有网络接口；
 *  discovery.zen.ping.multicast.enable：启用或禁用多播；

**2，配置单播（unicast）**

使用单播时，总是禁用多播，单播的配置选项：

discovery.zen.ping.unicast. hosts:指定接收单播请求的主机IP地址，推荐包含组成集群的所有主机，主机之间用逗号隔开；

discovery.zen.ping.multicast.enabled: false
    discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]

**3，结点之间的状态检测**

ping是结点之间发送的心跳信号，用于检测其他结点是否健康运行，如果其他结点无法响应该信号，那么集群认为该结点发生故障，配置ping信号的属性：

*  discovery.zen.fd.ping\_interval:默认为1s，设置结点之间互相ping信号的时间间隔；
 *  discovery.zen.fd.ping\_timeout:默认为30s，设置当前结点发送ping信号后等待目标结点响应的时间，超过该时间，当前结点认为目标结点无法响应；
 *  discovery.zen.fd.ping\_retries:默认为3次，设置重试次数，超过此次数之后，判定目标结点出现故障，停止工作；
 *  discovery.zen.ping.timeout: 默认值是3s，设置当前结点等待其他结点的ping信号的超时时间；

**六，本地网关（Gateway）和还原（Recovery）**

网关用于持久化存储集群的数据，包括集群的状态，索引和索引里面的数据，索引的类型映射和索引级别的配置信息等元数据，网关相当于关系型DB的事务日志。每一次集群数据的改变，ElasticSearch都将集群的数据存储到网关中。当集群重新启动时，它将会从网关中读取集群的数据，还原到上一次停机时的状态。

**1，网关的类型**

目前只支持local类型（本地网关），在本地文件系统中存储索引及其元数据;

gateway.type: local

**2，还原控制**

还原控制的选项有：

*  gateway.recover\_after\_nodes:3，表示当集群中有3个结点之后，允许执行还原进程；
 *  gateway.recover\_after\_time:10m，表示当集群满足gateway.recover\_after\_nodes属性（集群中至少有3个结点）之后，ElasticSearch在10分钟之后开始执行还原进程；
 *  gateway.expected\_nodes:5，设置集群期望的结点数量，当集群中结点的数目等于5，并且满足gateway.recover\_after\_nodes属性（集群中至少有3个结点）时，ElasticSearch将立即执行还原进程；
 *  网关对数据结点和主结点的还原控制：
    
     *  gateway.recover\_after\_master\_nodes 和 gateway.expected\_master\_nodes
     *  gateway.recover\_after\_data\_nodes 和 gateway.expected\_data\_nodes

**3，保护动作**

默认情况下，ElasticSearch自动创建索引，推荐关闭该选项

action.disable_close_all_indices: true
    action.disable_delete_all_indices: true
    action.disable_shutdown: true
    action.auto_create_index: false

**4，还原限制（Recovery Throttling）**

*  cluster.routing.allocation.node\_initial\_primaries\_recoveries: 4，在初始化还原期间，控制单个结点中执行并行还原进程的数量；
 *  cluster.routing.allocation.node\_concurrent\_recoveries: 2，在增加/移除结点，重平衡期间，控制单个结点中执行并行还原进程的数量；
 *  indices.recovery.max\_bytes\_per\_sec: 100mb，在还原时，吞吐量的上限，默认值是20MB；
 *  indices.recovery.concurrent\_streams: 5，在还原分片时，设置开启的并发流的上限；

**七，线程池配置**

Elasticsearch公开两种类型的线程池：

*  **cache**：无限制的线程池，为每个请求创建一个线程；
 *  **fixed**：固定大小的线程池，大小由size属性指定，

对于固定大小的线程池类型，必须为ElasticSearch指定一个请求队列（queue）用来保存请求，请求被存储到队列中，直到有一个空闲的线程来执行请求；如果队列满了，ElasticSearch无法把请求存放到队列中，该请求将被拒绝；

*  threadpool.index.type: fixed
 *  threadpool.index.size: 100
 *  threadpool.index.queue\_size: 500

**附言：**

ElasticSearch引擎的配置选项非常多，并且要真正理解这些配置选项对引擎的影响，也不是一件容易的事，不过，不用担心，在使用ElasticSearch时，真正需要修改配置选项的情况少之又少，所以，通常使用默认的配置就能满足生产环境的要求，ElasticSearch重要配置示例：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

## cluster
    cluster.name: "my-es-cluster"
    
    ## node
    node.name: "node-1"
    node.master: true
    node.data: true
    
    ## index
    index.number_of_shards: 1
    index.number_of_replicas: 0
    
    ## memory
    bootstrap.mlockall: true
    
    ## network
    network.host: 192.168.0.1
    transport.tcp.port: 9300
    http.port: 9200
    
    ## discovery
    discovery.zen.minimum_master_nodes: 1
    discovery.zen.ping.multicast.enabled: false
    discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]
    
    ## protection
    action.auto_create_index: false
    
    ## scripting
    script.inline: true
    script.indexed: true

[Elasticsearch Reference \[2.4\] » Setup » Configuration][Elasticsearch Reference _2.4_ _ Setup _ Configuration]

[Elasticsearch Reference \[2.4\] » Modules][Elasticsearch Reference _2.4_ _ Modules]

[Elasticsearch Reference \[2.4\] » Modules » Node][Elasticsearch Reference _2.4_ _ Modules _ Node]

[Install and configure Elasticsearch in Windows][]

[Important Elasticsearch configuration][]

[elasticsearch.yml配置文件][elasticsearch.yml]

[ElasticSearch_ _Windows_ElasticSearch]: http://www.cnblogs.com/ljhdo/p/4887557.html
[ElasticSearch_]: http://www.cnblogs.com/ljhdo/p/4959412.html
[ElasticSearch_ 1]: http://www.cnblogs.com/ljhdo/p/4981928.html
[ElasticSearch_ _C]: http://www.cnblogs.com/ljhdo/p/5160329.html
[ElasticSearch_ _C 1]: http://www.cnblogs.com/ljhdo/p/4550135.html
[ElasticSearch_ 2]: http://www.cnblogs.com/ljhdo/p/4904430.html
[ElasticSearch_ 3]: http://www.cnblogs.com/ljhdo/p/5012510.html
[ElasticSearch_ 4]: http://www.cnblogs.com/ljhdo/p/5016852.html
[ElasticSearch_ 5]: http://www.cnblogs.com/ljhdo/p/4911878.html
[4285111c78ebfeafc6009817ab6413c4.png]: /images/20221123/580279e487864c2282724d16530bb330.png
[69c5a8ac3fa60e0848d784a6dd461da6.png]: /images/20221123/e1a882ca084b407cb0b7d2b4b4ff5a88.png
[Elasticsearch Reference _2.4_ _ Setup _ Configuration]: https://www.elastic.co/guide/en/elasticsearch/reference/2.4/setup-configuration.html
[Elasticsearch Reference _2.4_ _ Modules]: https://www.elastic.co/guide/en/elasticsearch/reference/2.4/modules.html
[Elasticsearch Reference _2.4_ _ Modules _ Node]: https://www.elastic.co/guide/en/elasticsearch/reference/2.4/modules-node.html
[Install and configure Elasticsearch in Windows]: http://caraulean.com/2016/install-and-configure-elasticsearch-in-windows/
[Important Elasticsearch configuration]: https://www.elastic.co/guide/en/elasticsearch/reference/current/important-settings.html#important-settings
[elasticsearch.yml]: http://www.cnblogs.com/LiZhiW/p/4978396.html