ElasticSearch（四）查询、分词器

朴灿烈づ我的快乐病毒、 2021-06-11 15:14 497阅读 0赞

[https://www.cnblogs.com/soft2018/p/10203330.html][https_www.cnblogs.com_soft2018_p_10203330.html]

### **正****向索引** ###

## ##

正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。

这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。

尽管正排表的工作原理非常的简单，但是由于其检索效率太低，除非在特定情况下，否则实用性价值不大。

### **倒排索****引** ###

倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。

由于每个字或词对应的文档数量在动态变化，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。

**　　正排索引是从文档到关键字的映射（已知文档求关键字），倒排索引是从关键字到文档的映射（已知关键字求文档）。**

**文档****内容****:**

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 序号 </td> 
 <td style="vertical-align:top;"> 文档内容 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 1 </td> 
 <td style="vertical-align:top;"> 小俊是一家科技公司创始人，开的汽车是奥迪a8l，加速爽。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 2 </td> 
 <td style="vertical-align:top;"> 小薇是一家科技公司的前台，开的汽车是保时捷911 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 3 </td> 
 <td style="vertical-align:top;"> 小红买了小薇的保时捷911，加速爽。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 4 </td> 
 <td style="vertical-align:top;"> 小明是一家科技公司开发主管，开的汽车是奥迪a6l,加速爽。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 5 </td> 
 <td style="vertical-align:top;"> 小军是一家科技公司开发，开的汽车是比亚迪速锐，加速有点慢 </td> 
 </tr> 
 </tbody> 
</table>

** **

**　　倒排索引会对以上文档内容进行关键词分词，可以使用关键次****直接****定位到文档内容。**

** **

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 单词ID </td> 
 <td style="vertical-align:top;"> 单词 </td> 
 <td style="vertical-align:top;"> 倒排列表docId </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 1 </td> 
 <td style="vertical-align:top;"> 小 </td> 
 <td style="vertical-align:top;"> 1,2,3,4,5 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 2 </td> 
 <td style="vertical-align:top;"> 一家 </td> 
 <td style="vertical-align:top;"> 1,2,4,5 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 3 </td> 
 <td style="vertical-align:top;"> 科技公司 </td> 
 <td style="vertical-align:top;"> 1,2,4,5 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 4 </td> 
 <td style="vertical-align:top;"> 开发 </td> 
 <td style="vertical-align:top;"> 4,5 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 5 </td> 
 <td style="vertical-align:top;"> 汽车 </td> 
 <td style="vertical-align:top;"> 1,2,4,5 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 6 </td> 
 <td style="vertical-align:top;"> 奥迪 </td> 
 <td style="vertical-align:top;"> 1,4 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 7 </td> 
 <td style="vertical-align:top;"> 加速爽 </td> 
 <td style="vertical-align:top;"> 1,3,4 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 8 </td> 
 <td style="vertical-align:top;"> 保时捷 </td> 
 <td style="vertical-align:top;"> 2,3 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 9 </td> 
 <td style="vertical-align:top;"> 保时捷911 </td> 
 <td style="vertical-align:top;"> 2 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 10 </td> 
 <td style="vertical-align:top;"> 比亚迪 </td> 
 <td style="vertical-align:top;"> 5 </td> 
 </tr> 
 </tbody> 
</table>

**高级****查询：**

根据id进行查询

GET /mymayikt/user/12

**　　查询****当前所有类型的文档**** **

GET /mymayikt/user/\_search

**　　根据****多个****ID批量****查询**** **

查询多个id分别为1、2

GET /mymayikt/user/\_mget

"ids":\["1","2"\]

**复杂****条件查询**** **

查询年龄为年龄21岁

GET /mymayikt/user/\_search?q=age:21

查询年龄30岁-60岁之间

GET /mymayikt/user/\_search?q=age\[30 TO 60\]

**注意:TO 一定****要大****写**

查询年龄30岁-60岁之间 并且年龄降序、从0条数据到第1条数据

GET /mymayikt/user/\_search?q=age\[30 TO 60\]&sort=age:desc&from=0&size=1

查询年龄30岁-60岁之间 并且年龄降序、从0条数据到第1条数据,展示name和age字段

GET /mymayikt/user/\_search?q=age\[30 TO 60\]&sort=age:desc&from=0&size=1&\_source=name,age

Dsl语言查询与过滤

**　　什么是DSL语言**

es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。  
由于DSL查询更为直观也更为简易，所以大都使用这种方式。  
　　DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。

**　　**Term与Match区别：

Term查询不会对字段进行分词查询，会采用精确匹配。

Match会根据该字段的分词器，进行分词查询。

根据名称精确查询姓名（term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇）：

![复制代码][copycode.gif]

GET mymayikt/user/_search
    {
      "query": {
        "term": {
          "name": "xiaoming"
        } 
      }
    }

![复制代码][copycode.gif]

**　　根据汽车****名称模糊查询（**match查询相当于模糊匹配,只包含其中一部分关键词就行**）**

![复制代码][copycode.gif]

GET /mymayikt/user/_search
    {
      "from": 0,
      "size": 2, 
      "query": {
        "match": {
          
            "car": "奥迪"
          }
      }
    }

![复制代码][copycode.gif]

### **　　使用****filter****过滤年龄** ###

![复制代码][copycode.gif]

GET /mymayikt/user/_search
    {
        "query": {
            "bool": {
                "must": [{
                    "match_all": {}
                }],
                "filter": {
                    "range": {
                        "age": {
                            "gt": 21,
                            "lte": 51
                        }
                    }
                }
            }
        },
        "from": 0,
        "size": 10,
        "_source": ["name", "age"]
    }

![复制代码][copycode.gif]

## **分词器：** ##

因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件。

*　　一、传统分词器演示：*

[http://192.168.212.181:9200/\_analyze][http_192.168.212.181_9200_analyze]

![复制代码][copycode.gif]

//请求：
 {
 "analyzer": "standard",
 "text": "奥迪a4l"
 }
 
 
 //查询结果
 {
 "tokens": [
 {
 "token": "奥",
 "start_offset": 0,
 "end_offset": 1,
 "type": "<IDEOGRAPHIC>",
 "position": 0
 },
 {
 "token": "迪",
 "start_offset": 1,
 "end_offset": 2,
 "type": "<IDEOGRAPHIC>",
 "position": 1
 },
 {
 "token": "a4l",
 "start_offset": 2,
 "end_offset": 5,
 "type": "<ALPHANUM>",
 "position": 2
 }
 ]
 }

![复制代码][copycode.gif]

二、IK分词插件

下载地址: [https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases]

注意: es-ik分词插件版本一定要和es安装的版本对应

第一步：下载es的IK插件，名改为ik.zip（上传时候是上传ik为名的文件夹）

第二步: 上传到/usr/local/elasticsearch-6.4.3/plugins

第三步: 重启elasticsearch即可

![复制代码][copycode.gif]

http://192.168.212.181:9200/_analyze
    //请求
    {
      "analyzer": "ik_smart",
      "text": "奥迪"
    }
    
    
    //查询结果
    {
        "tokens": [
            {
                "token": "奥迪",
                "start_offset": 0,
                "end_offset": 2,
                "type": "CN_WORD",
                "position": 0
            },
            {
                "token": "a4l",
                "start_offset": 2,
                "end_offset": 5,
                "type": "LETTER",
                "position": 1
            }
        ]
    }

![复制代码][copycode.gif]

三、自定义扩展字典

（1）、在/usr/local/elasticsearch-6.4.3/plugins/ik/config目录下

（2）、vi custom/new\_word.dic（先在config目录中建custom文件夹，把要修改的文件放到该文件夹中，后再IKAnalyzer.cfg.xml中进行设置）

老铁

王者荣耀

洪荒之力

共有产权房

一带一路

余胜军

（3）、vi IKAnalyzer.cfg.xml

![复制代码][copycode.gif]

<?xml version="1.0" encoding="UTF-8"?>
 <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
 <properties>
 <comment>IK Analyzer 扩展配置</comment>
 
 <entry key="ext_dict">custom/new_word.dic</entry>
 
 <entry key="ext_stopwords"></entry>
 
 
 
 
 </properties>

![复制代码][copycode.gif]

[https_www.cnblogs.com_soft2018_p_10203330.html]: https://www.cnblogs.com/soft2018/p/10203330.html
[copycode.gif]: /images/20210527/6e3783f2d68149ef9ecc083ae21d913f.png
[http_192.168.212.181_9200_analyze]: http://192.168.212.181:9200/_analyze
[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases