elasticsearch 索引存储深入详解

以你之姓@ 2023-10-17 16:03 52阅读 0赞

## 1、关于ES index存储在内存的问题？ ##

### （1）早期ES1.X版本对ES索引存储介绍： ###

原文地址：  
[https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html][https_www.elastic.co_guide_en_elasticsearch_reference_1.4_index-modules-store.html]  
ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能，但受限于实际的可用的物理内存大小。  
早期ES1.X版本有选项将索引存储到内存中，但是相比基于mmap的存储方式，这种方式并没有改善性能，所以在ES2.X版本中Memory存储类型已经被删除。

### （2）最新的ES2.X版本（截止：2016-08-08）索引存储介绍： ###

原文地址：  
[https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_index-modules-store.html]  
ES2.X版本中该Memeory选项已经被删除。  
现在ES2.X中在内存中映射索引使用mmap 系统调用。  
并且ES的大牛也都推荐就索引存储而言，使用缺省默认值default\_fs。

![这里写图片描述][20160809210120391]

## 2、ES2.X文件系统存储类型 ##

基于文件系统的存储是默认索引存储方式。有不同的实现或存储类型。最好的一个操作系统的自动选择是：mmapfs使用在Windows的64bit系统上，simplefs使用在windows的32bit系统上，除此之外默认是用(hybrid niofs 和 mmapfs)。

可以通过修改配置文件elasticsearch.yml来指定存储类型：  
index.store.type: niofs

当然也可以在创建索引的时候指定：

curl -XPUT localhost:9200/my_index -d '{
      "settings": {
      "index.store.type": "niofs"
      }
    }';
     
     
      
       1 
       2 
       3 
       4 
       5

下面是所有支持的不同存储类型：

### (1) Simple FS（简单文件系统） ###

Simplefs类型是一个简单的实现随机访问文件的文件存储系统（映射到Lucene SimpleFsDirectory的）。该实现的并发性能较差（多线程是个瓶颈）。当你需要将索引持久化，最好使用niofs。

### (2) NIO FS（NIO文件系统） ###

niofs类型是通过NIO将分片索引文件写到文件系统上（映射到Lucene NIOFSDirectory）。它允许多线程同时读取文件。不建议在Windows系统上使用，由于SUN JAVA实现上的一个错误。

### (3) MMap FS（内存映射文件系统） ###

mmapfs类型存储分片索引到文件系统上（映射到Lucene MMapDirectory）通过映射文件到内存中（MMAP）。  
内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前，请确保您有足够的虚拟地址空间。

Linux下虚拟内存设置：

# sysctl -w vm.max_map_count=262144
     
     
      
       1

永久生效：

update the vm.max_map_count setting in /etc/sysctl.conf.
      # echo "vm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p
     
     
      
       1 
       2

### （4）Hybrid MMap / NIO FS（缺省值, default\_fs） ###

default\_fs默认的类型是NIO FS和MMapFS，它将为每个类型的文件选择最好的文件系统。 目前，只有Lucene的term 路径和DOC值的文件被存储器映射，以降低运行系统的影响。所有其他文件都使用Lucene NIOFSDirectory打开。如果你的term字典很大，地址空间设置（部分叫做“虚拟内存编辑“）也可能适用，。

## 3、ES索引存储小结 ##

一句话总结：  
在2.X版本，用户无需关注索引存储在内存中还是存储在硬盘中。使用默认的存储设置default\_fs，以达到最优性能  
在Windows的64bit系统上使用 mmapfs ；  
在windows的32bit系统上使用 simplefs ；  
除此之外默认使用 default\_fs (hybrid niofs 和 mmapfs)，如Linux系统。

## 4、细节讨论 ##

[https://discuss.elastic.co/t/how-to-set-elasticsearch-index-store/57556/2][https_discuss.elastic.co_t_how-to-set-elasticsearch-index-store_57556_2]

——————————————————————————————————  
更多ES相关实战干货经验分享，请扫描下方【铭毅天下】微信公众号二维码关注。  
（每周至少更新一篇！）

来源:http://blog.csdn.net/laoyang360/article/details/52166095

[https_www.elastic.co_guide_en_elasticsearch_reference_1.4_index-modules-store.html]: https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html
[https_www.elastic.co_guide_en_elasticsearch_reference_current_index-modules-store.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html
[20160809210120391]: https://img-blog.csdn.net/20160809210120391
[https_discuss.elastic.co_t_how-to-set-elasticsearch-index-store_57556_2]: https://discuss.elastic.co/t/how-to-set-elasticsearch-index-store/57556/2