Elasticsearch索引(写入)速度优化

素颜马尾好姑娘i 2023-02-17 02:56 68阅读 0赞

### 1.缩减索引字段 ###

es中只保留必要字段，缩减字段能有效缩减文档大小，提高写入速度。

### 2.合理设置分片数和副本数 ###

7.\*默认1个分片1和副本。Elasticsearch官方建议一个分片的大小应该在20到40 GB左右`，`分片个数建议 >= 集群节点的个数，但是当索引较小时（写入性能需求 > 搜索性能需求时），可以使用1个分片，过多的分片也会影响写入性能。

分片大小对于搜索查询非常重要。

*  一方面， 如果分配给索引的分片太多，则Lucene分段会很小，从而导致开销增加。 当同时进行多个查询时，许多小分片也会降低查询吞吐量。
 *  另一方面，太大的分片会导致搜索性能下降和故障恢复时间更长。

在批量索引文档前可以将副本数设置为0，索引完成后恢复原来的值。

"number_of_replicas":1
    "number_of_shards":1

### 3.索引刷新间隔refresh\_interval ###

默认情况下refresh\_interval为1s，数据写入1秒后就可以被搜索到，每次索引的refresh会产生一个新的Lucene段，Lucene段即为segment，segment在复合一定条件后，会自动合并，因此这会导致频繁的segment merge行为，如果不需要特别高的搜索实时性，应该降低索引refresh周期。-1:禁止刷新。在批量索引文档前可以将refresh\_interval设置为-1，完成后修改为默认值。由于我的场景是每天都会全量同步，此处将refresh\_interval设置为120s

"refresh_interval": "120s"

假如refresh\_interval设置为-1，只是es中的定时任务不会执行。但是es会根据一个versionMap去强制做一次refresh操作，缓冲区满的时候也会触发refresh操作。每30秒有个定时器去检查shardIndexingBufferSize大小，最终调用updateShardBuffers方法去refresh

### 4.translog设置 ###

随着translog文件越来越大时要考虑把内存中的数据刷新到磁盘中，这个过程称为flush。在默认设置下，translog的持久化策略为: request，每个请求 都“flush”，配置异步刷新，刷新时间120s。

"index.translog.durability": "async"
    "index.translog.sync_interval": "120s"

### 5.线程池队列 ###

当写入队列满时，es会拒绝接受索引事件，适当增加写入队列大小，默认为200。线程池大小官方不建议进行修改。

thread_pool.write.queue_size: 500

### 6.使用es自动生成的id ###

无更新操作时，尽量使用es自动生成的id，当你index一个document使用特定的id，ES需要去检查是否在同一个shard存在相同的ID的文档，这是一个相当昂贵的操作，并且随着文档数量的增加，花费呈指数增长。如果使用自动生成id，ES会跳过这个检查，使得Index速度更快。但是当需要更新操作时不适用。

### 7.Indexing 缓冲大小 ###

在执行大量的索引操作时，indices.memory.index\_buffer\_size的默认 设置可能不够，这和可用堆内存、单节点上的shard数量相关，可以考虑适当增大该值，增大该值，减少segment，就会减少merge。默认大小为10% 48mb

indices.memory.index_buffer_size: 20%
    indices.memory.min_index_buffer_size: 96mb

### 8.jvm.options ###

Xmx和Xms的大小默认为1g，可以适当增加该值。

-Xms2g
    -Xmx2g

### 9.禁用swapping ###

在ES的官方文档上，要求`Disabled Swapping。`执行swapoff -a暂时禁用，机器重启后会恢复。要永久的关闭swapping，需要编辑`/etc/fstab`文件，将包含swap的行的注释掉。

参考文档：

1.  [https://www.cnblogs.com/eviltuzki/p/8439036.html][https_www.cnblogs.com_eviltuzki_p_8439036.html]
2.  [https://blog.csdn.net/wmj2004/article/details/80804411][https_blog.csdn.net_wmj2004_article_details_80804411]
3.  [https://blog.csdn.net/u012133048/article/details/93408374?utm\_medium=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase][https_blog.csdn.net_u012133048_article_details_93408374_utm_medium_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase]
4.  [https://blog.csdn.net/HaixWang/article/details/80846749?utm\_medium=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase][https_blog.csdn.net_HaixWang_article_details_80846749_utm_medium_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase]
5.  [https://www.cnblogs.com/MyOceansWeb/p/12653965.html][https_www.cnblogs.com_MyOceansWeb_p_12653965.html]
6.  [https://blog.csdn.net/laoyang360/article/details/85109769][https_blog.csdn.net_laoyang360_article_details_85109769]
7.  [https://blog.csdn.net/laoyang360/article/details/97695931][https_blog.csdn.net_laoyang360_article_details_97695931]
8.  [7.\*官方文档][7.]

[https_www.cnblogs.com_eviltuzki_p_8439036.html]: https://www.cnblogs.com/eviltuzki/p/8439036.html
[https_blog.csdn.net_wmj2004_article_details_80804411]: https://blog.csdn.net/wmj2004/article/details/80804411
[https_blog.csdn.net_u012133048_article_details_93408374_utm_medium_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase]: https://blog.csdn.net/u012133048/article/details/93408374?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
[https_blog.csdn.net_HaixWang_article_details_80846749_utm_medium_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase_depth_1-utm_source_distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase]: https://blog.csdn.net/HaixWang/article/details/80846749?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
[https_www.cnblogs.com_MyOceansWeb_p_12653965.html]: https://www.cnblogs.com/MyOceansWeb/p/12653965.html
[https_blog.csdn.net_laoyang360_article_details_85109769]: https://blog.csdn.net/laoyang360/article/details/85109769
[https_blog.csdn.net_laoyang360_article_details_97695931]: https://blog.csdn.net/laoyang360/article/details/97695931
[7.]: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/modules-threadpool.html#node.processors