总结之全文检索ElasticSearch（一）——解析与使用

忘是亡心i 2023-05-22 22:03 6阅读 0赞

## 简介 ##

1、elasticsearch是一个基于Lucene的高扩展的分布式搜索服务器，支持开箱即用。  
2、elasticsearch隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索。  
优点：  
1.扩展性好，可部署上百台服务器集群，处理PB级数据。  
2.近实时的去索引数据、搜索数据。

## ElasticSearch vs Solr ##

（1）es基本是开箱即用，非常简单。Solr安装复杂  
　　（2）Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能。  
　　（3）Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。  
　　（4）Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友好支撑  
　　（5）Solr 查询快，但更新索引时慢（即插入删除慢），用于电商等查询多的应用；  
　　（6） ES建立索引快（即查询慢），即实时性查询快，用于facebook新浪等搜索。Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

## 结构 ##

下图是ElasticSearch的索引结构，下边黑色部分是物理结构，上边黄色部分是逻辑结构，逻辑结构也是为了更好的 去描述ElasticSearch的工作原理及去使用物理结构中的索引文件。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70]  
1、将要搜索的文档内容分词，所有不重复的词组成分词列表。  
2、将搜索的文档终以Document方式存储起来。 3、每个词和docment都有关联。

#### 索引（Index)： ####

逻辑概念，一个可检索的文档对象（documents）的集合。类似与DB中的database概念。同一个集群中可建立多个索引。比如，生产环境常见的一种方法，对每个月产生的数据建索引，以保证单个索引的量级可控。

#### 类型（Type）： ####

索引的下一级概念，相当于数据库中的table。同一个索引里可以包含多个 Type。 数据浏览tab中，选中某个索引或者类型，都可以看它对应的类型或索引。  
　　注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES官方将在ES9.0版本中彻底删除type

#### 文档（Document)： ####

即搜索引擎中的文档概念，也是ES中一个可以被检索的基本单位，相当于数据库中的row，一条记录。

#### 字段（Field）： ####

相当于数据库中的column。ES中，每个文档，其实是以json形式存储的。而一个文档可以被视为多个字段的集合。比如一篇文章，可能包括了主题、摘要、正文、作者、时间等信息，每个信息都是一个字段，最后被整合成一个json串，落地到磁盘。

#### 映射（Mapping）： ####

相当于数据库中的schema，用来约束字段的类型，不过 Elasticsearch 的 mapping 可以不显示地指定、自动根据文档数据创建。

#### ES比传统关系型数据库，对一些概念上的理解： ####

Relational DB -> Databases -> Tables -> Rows -> Columns  
Elasticsearch -> Indices -> Types -> Documents -> Fields

## Elasticsearch和Head插件安装 ##

安装链接：https://www.cnblogs.com/xiaojianfeng/p/9435507.html  
head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映 射、创建索引等  
Head使用和概念链接：  
https://www.cnblogs.com/peterYong/p/11024684.html

## 使用 ##

使用POSTMAN工具，选择raw。

#### 创建索引库 ####

put http://localhost:9200/索引库名称

{
        "settings":{ 
          "index":{ 
                "number_of_shards":1,
                "number_of_replicas":0 
                  }
             }
    }

number\_of\_shards：设置分片的数量，在集群中通常设置多个分片，表示一个索引库将拆分成多片分别存储不同 的结点，提高了ES的处理能力和高可用性，入门程序使用单机环境，这里设置为1。  
number\_of\_replicas：设置副本的数量，设置副本是为了提高ES的高可靠性，单机环境设置为0.

#### 创建映射 ####

发送：post http://localhost:9200/索引库名称/类型名称/\_mapping 创建类型为xc\_course的映射，共包括三个字段：name、description、studymondel  
由于ES6.0版本还没有将type彻底删除，所以暂时把type起一个没有特殊意义的名字。 post 请求：http://localhost:9200/xc\_course/doc/\_mapping  
表示：在xc\_course索引库下的doc类型下创建映射。doc是类型名，可以自定义，在ES6.0中要弱化类型的概念， 给它起一个没有具体业务意义的名称。

{   "properties": { 
                    "name": {
                           "type": "text"
                       }, 
                     "description": {
                       		"type": "text" 
                      }, 
                  	 "studymodel": { 
                        	 "type": "keyword" 
                 		 } 
    	  			} 
      }

#### 创建文档 ####

发送：put 或Post http://localhost:9200/xc\_course/doc/id值 （如果不指定id值ES会自动生成ID）  
http://localhost:9200/xc\_course/doc/4028e58161bcf7f40161bcf8b77c0000

{
      "name":"Bootstrap开发框架",
      "description":"Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包 含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器限制的 精美界面效果。",   
      "studymodel":"201001" 
    }

#### 搜索文档 ####

1、根据课程id查询文档  
发送：get http://localhost:9200/xc\_course/doc/4028e58161bcf7f40161bcf8b77c0000  
2、查询所有记录 发送 get http://localhost:9200/xc\_course/doc/\_search  
3、查询名称中包括spring 关键字的的记录 发送：get http://localhost:9200/xc\_course/doc/\_search?q=name:bootstrap

4、查询学习模式为201001的记录  
发送 get http://localhost:9200/xc\_course/doc/\_search?q=studymodel:201001

{     "took": 1,    
      "timed_out": false,     
      "_shards": {        
       "total": 1,        
        "successful": 1,        
         "skipped": 0,       
           "failed": 0    
            },     
            "hits": {        
             "total": 1,        
              "max_score": 0.2876821,         
              "hits": [            
               {                
               "_index": "xc_course",                
                "_type": "doc",                
                 "_id": "4028e58161bcf7f40161bcf8b77c0000",                 ·			"_score": 0.2876821,
                 "_source": {
                 "name": "Bootstrap开发框架",
                "description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较 为广泛。此开发框架包含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现 一个不受浏览器限制的精美界面效果。", 
                   "studymodel": "201001"                
                  }            
             }         
        ]     
       }
    }

took：本次操作花费的时间，单位为毫秒。 timed\_out：请求是否超时 \_shards：说明本次操作共搜索了哪些分片  
hits：搜索命中的记录 hits.total ： 符合条件的文档总数 hits.hits ：匹配度较高的前N个文档  
hits.max\_score：文档匹配得分，这里为高分 \_score：每个文档都有一个匹配度得分，按照降序排列。 \_source：显示了文档的原始内容。

#### IK分词器 ####

现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。

##### 安装IK分词器 #####

使用IK分词器可以实现对中文分词的效果。 下载IK分词器：（Github地址：https://github.com/medcl/elasticsearch-analysis-ik）  
解压，并将解压的文件拷贝到ES安装目录的plugins下的ik目录下  
ik分词器有两种分词模式：ik\_max\_word和ik\_smart模式。  
1、ik\_max\_word  
会将文本做细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、 华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。  
2、ik\_smart

会做粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。  
测试两种分词模式：  
发送：post localhost:9200/\_analyze \{“text”:“中华人民共和国人民大会堂”,“analyzer”:“ik\_smart” \}

##### 自定义词库 #####

如果要让分词器支持一些专有词语，可以自定义词库。  
iK分词器自带一个main.dic的文件，此文件为词库文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70 1]  
在上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））  
可以在其中自定义词汇：  
比如定义：  
配置文件中配置my.dic，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70 2]

#### 映射维护方式 ####

1、查询所有索引的映射： GET： http://localhost:9200/\_mapping  
2、创建映射 post 请求：http://localhost:9200/xc\_course/doc/\_mapping  
3、更新映射  
映射创建成功可以添加新字段，已有字段不允许更新。  
4、删除映射  
通过删除索引来删除映射。

##### 常见的映射leix #####

字符串包括text和keyword两种类型：  
1、text  
1）analyzer 通过analyzer属性指定分词器。  
下边指定name的字段类型为text，使用ik分词器的ik\_max\_word分词模式。

"name": {                   
     "type": "text",                  
      "analyzer":"ik_max_word"    
      }

2）index  
通过index属性指定是否索引。  
默认为index=true，即要进行索引，只有进行索引才可以从索引库搜索到。 但是也有一些内容不需要索引，比如：商品图片地址只被用来展示图片，不进行搜索图片，此时可以将index设置 为false。

"pic": {   
     "type": "text",                           
     "index":false           
      }

3）store  
是否在source之外存储，每个文档索引后会在 ES中保存一份原始文档，存放在"\_source"中，一般情况下不需要设置 store为true，因为在\_source中已经有一份原始文档了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70]: /images/20230521/50a1b22ba20b48199fb1aece061132c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70 1]: /images/20230521/43c0ae333813446f93cb9534e97cfa2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0lNYW5peQ_size_16_color_FFFFFF_t_70 2]: /images/20230521/d1962cea329a45b5befc3a4d084dea10.png