ElasticSearch教程（二）—— 基本使用

妖狐艹你老母 2022-05-14 12:19 263阅读 0赞

## 基本使用 ##

### 基本概念 ###

ElasticSearch是面向文档的，它存储文档，并索引每个文档的内容使之可以被索引。ES选择json作为文档序列化格式。

索引：名词，类似一个数据库，是一个存储关系性文档的地方。

索引：动词，把关系型文档存到索引的过程，是插入。

ES使用倒排索引来索引文档，只有在倒排索引中存在的属性才能被搜索。

#### 倒排索引 ####

> 倒排索引，文档经过分词器分出许多词根，并把词根和文档的关联关系存在一个文档中。
> 
> <table> 
>  <thead> 
>   <tr> 
>    <th>term</th> 
>    <th>doc1</th> 
>    <th>doc2</th> 
>   </tr> 
>  </thead> 
>  <tbody> 
>   <tr> 
>    <td>run</td> 
>    <td>X</td> 
>    <td></td> 
>   </tr> 
>   <tr> 
>    <td>jump</td> 
>    <td></td> 
>    <td>X</td> 
>   </tr> 
>   <tr> 
>    <td>swim</td> 
>    <td>X</td> 
>    <td>X</td> 
>   </tr> 
>   <tr> 
>    <td>fight</td> 
>    <td>X</td> 
>    <td></td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> 当搜索一个语句，回返回所有存在该term的文档。如搜索run swim，doc1，doc2都存在索引，但doc1的匹配度更高。
> 
> <table> 
>  <thead> 
>   <tr> 
>    <th>term</th> 
>    <th>doc1</th> 
>    <th>doc2</th> 
>   </tr> 
>  </thead> 
>  <tbody> 
>   <tr> 
>    <td>run</td> 
>    <td>X</td> 
>    <td></td> 
>   </tr> 
>   <tr> 
>    <td>swim</td> 
>    <td>X</td> 
>    <td>X</td> 
>   </tr> 
>   <tr> 
>    <td></td> 
>    <td></td> 
>    <td></td> 
>   </tr> 
>   <tr> 
>    <td>total</td> 
>    <td>2</td> 
>    <td>1</td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> 倒排索引存在的问题是必须完全按照倒排索引的字段来查询，只要单词不一样，就搜索不到匹配文档。如倒排索引分出的词是swiming，搜索swim，SWIM都不会匹配到。
> 
> 可以的做法，规范搜索词，如SWIM后台转成swim去匹配。对于swiming，users这类的词，可以通过词干抽取，把swiming抽成swim，users抽成user。倒排索引数据会很大，需要压缩。

### 索引文档 ###

一个elasticSearch集群有多个索引（index），每个索引有多个type（类型），每个type有多个属性。

对于索引雇员目录，我们这么做

*  每个雇员都是一个文档
 *  每个文档我们都放到employ类型下
 *  employ类型在索引megacorp中
 *  该索引保存在elaticSearch集群内。

curl -X PUT "localhost:9200/megacorp/employee/1" -H 'Content-type: application/json;' -d'
    {
        "first_name": "John";
        "last_name": "Smith";
        "age": 25;
        "about": "I love to go rock climbing";
        "interests": ["sports", "music"]
    }
    '

{
        "_index": "megacorp",
        "_type": "employee",
        "_id": "1",
        "_version": 1,
        "result": "created",
        "_shards": { "total": 2, "successful": 1, "failed": 0 },
        "_seq_no": 0,
        "_primary_term": 1 }

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>_index</td> 
   <td>存放索引</td> 
  </tr> 
  <tr> 
   <td>_type</td> 
   <td>存放类型</td> 
  </tr> 
  <tr> 
   <td>_shards</td> 
   <td>存放分片信息</td> 
  </tr> 
  <tr> 
   <td>_id</td> 
   <td>插入的id</td> 
  </tr> 
  <tr> 
   <td>total</td> 
   <td>总分片</td> 
  </tr> 
  <tr> 
   <td>successful</td> 
   <td>成功操作分片</td> 
  </tr> 
  <tr> 
   <td>failed</td> 
   <td>失败操作分片</td> 
  </tr> 
  <tr> 
   <td>result</td> 
   <td>操作类型，create，update等</td> 
  </tr> 
 </tbody> 
</table>

多插入几条数据

curl -X PUT "localhost:9200/megacorp/employee/2" -H 'Content-type: application/json;' -d'
    {
        "first_name" :  "Jane",
        "last_name" :   "Smith",
        "age" :         32,
        "about" :       "I like to collect rock albums",
        "interests":  [ "music" ]
    }
    '
    
    curl -X PUT "localhost:9200/megacorp/employee/3" -H 'Content-type: application/json;' -d'
    {
        "first_name" :  "Douglas",
        "last_name" :   "Fir",
        "age" :         35,
        "about":        "I like to build cabinets",
        "interests":  [ "forestry" ]
    }
    '

### 检索文档 ###

通过GET来检索文档。

curl -X GET "localhost:9200megacrp/employee/1"

返回结果

{
        "_index": "megacorp",
        "_type": "employee",
        "_id": "2",
        "_version": 1,
        "found": true,
        "_source": { "first_name": "Marx", "last_name": "Smith", "age": 25, "about": "I love to go rock climbing", "interests": ["sports", "music"] } }

使用GET检索文档，使用PUT索引文档（insert/update）通过\_index，使用DELETE命令来删除文档，使用HEAD指令来检查文档是否存在。

ES支持通过一个string作为参数查询，也可以使用request body查询

#### 使用string检索 ####

上面的例子是通过index直接访问改文档，下面的是通过查询得到文档结果。

通过`_search`可以搜索索引库中，某个type下的文档。展示所有文档。

curl -X GET "localhost:9200/megacorp/employee/_search"

查询first\_name未Marx的所有文档

curl -X GET "localhost:9200/megacorp/employee/_search?q=first_name:Marx"

简单检索是一个即席查询。

> 即席查询是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。如”select id from user where user\_no = “+”001”。
> 
> 另一种查询是参数化查询，如”select id from user where user\_no = \#\{userNo\}”。

对于多个条件的查询，使用`+`将多个条件连接起来。但在url中，`+`被转为空格，所以必须用它UTF编码`%2B`

curl -X GET "localhost:9200/megacorp/employee/_search?q=first_name:Marx%2B_index:2"

也可以不指定index而进行全集群查询

curl -X GET "localhost:9200/_all/_search?q=first_name:Marx"

由于即席查询允许用户在索引的任何字段上执行可能较慢且重量级查询，这可能会暴露隐私信息，甚至将集群拖垮。所以不建议想用户暴露查询查询字符串搜索功能。

#### 使用request body检索 ####

使用request body可以完成一些复杂的查询，如查询first\_name为John的数据。

curl -X GET "localhost:9200/merp/employee/_search" -H 'Content-type: application/json' -d'
    {
        "query": {
            "match": {
                "first_name": "John"
            }
        }
    }

结果

{
        "took": 2,
        "timed_out": false,
        "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 },
        "hits": { "total": 1, "max_score": 0.2876821, "hits": [{ "_index": "megacorp", "_type": "employee", "_id": "1", "_score": 0.2876821, "_source": { "first_name": "John", "last_name": "Smith", "age": 25, "about": "I love to go rock climbing", "interests": ["sports", "music"] } }] } }

可以加上过滤年龄过滤

curl -X GET "localhost:9200/merp/employee/_search" -H 'Content-type: application/json' -d'
    {
        "query": {
            "bool": {
                "must": {
                    "match": {
                        "first_name": "John"
                    }
                },
                "filter": {
                    "range": {
                        "age": {
                            "gt": 30
                        }
                    }
                }
            }
        }
    }'

ES的搜索是可以看到文档匹配分数的，这是mysql不具备的。如搜索”go climbing”，它会搜索文档属性中存在”go”，”climbing”的文档，并给予匹配度。

curl -X GET "localhost:9200/megacorp/employee/_search" -H 'Content-type: application/json' -d'
    {
       "query":{
       "match":{
       "about":"go climbing"}}}'

##### 短语搜索 #####

按整个参数去检索，而不是把它分词检索，如检索”rock climbing”短语，使用match\_phrase

curl -X GET "localhost:9200/megacorp/employee/_search" -H 'Content-type: application/json' -d'
    {
        "query": {
            "match_phrase": {
                "about": "rock climbing"
            }
        }
    }'

##### 高亮显示 #####

加上”highlight”，可以将属性中所有匹配的关键字加上`<em></em>`高亮显示。属性名支持通配符表示法。

curl -X GET "localhost:9200/megacorp/employee/_search" -H 'Content-type: application/json' -d' 
    {
        "query": {
            "match_phrase": {
                "about": "rock climbing"
            }
        },
        "highlight": {
            "fields": {
                "about": {}
            }
        }
    }'

结果

{"took":3,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":1,"max_score":0.5753642,"hits":[{"_index":"megacorp","_type":"employee","_id":"1","_score":0.5753642,"_source": { "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests": [ "sports", "music" ] } ,"highlight":{"about":["I love to go <em>rock</em> <em>climbing</em>"]}}]}}

##### 聚合检索 #####

curl -X GET "localhost:9200/megacorp/employee/_search" -H 'Content-type: application/json' -d'
    {
       "aggs": {
       "all_interests": {
       "terms": {
       "field": "interests" } } } }'

注意，使用聚合检索的属性不能是`text`，es6对于String分成了支持聚合的`keyword`和不支持聚合的`text`。否则会提示

> Fielddata is disabled on text fields by default. Set fielddata=true on \[interests\] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.