Elasticsearch系列(七)ES数据搜索之原理分析

末蓝、 2022-03-15 07:34 382阅读 0赞

本文转载于[ES映射和分析][ES]

## 前言 ##

在探究ES数据搜索原理时，先了解下ES的mapping和analysis机制，关于mapping的详细可以参考之前的文章：[Elasticsearch系列(三)mapping详解][Elasticsearch_mapping]

**映射(mapping)机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, number, booleans, date等)。**

**分析(analysis)机制用于进行全文文本(Full Text)的分词，以建立供搜索用的反向索引。**

**看完本章，你就会明白ES中的文档的数据是如何进行数据映射，分词，如何建立全文倒排索引，从而被快速搜索到的原理。**

## 一、确切值和全文搜索 ##

**1、差异**

在索引中有12个document，只有一个包含日期2014-09-15，但是我们看看下面查询中的total hits。

GET /_search?q=2014              # 12 个结果
    GET /_search?q=2014-09-15        # 还是 12 个结果 !
    GET /_search?q=date:2014-09-15   # 1  一个结果
    GET /_search?q=date:2014         # 0  个结果 !

Elasticsearch为对字段类型进行猜测，动态生成了字段和类型的映射关系。返回的信息显示了date字段被识别为date类型。\_all因为是默认字段所以没有在此显示，不过我们知道它是string类型。

你会期望每一种核心数据类型(strings, numbers, booleans及dates)以不同的方式进行索引，而这点也是现实：在Elasticsearch中他们是被区别对待的。

**但是更大的区别在于确切值(exact values)(比如string类型)及全文文本(full text)之间。  
这两者的区别才真的很重要 - 这是区分搜索引擎和其他数据库的根本差异。**

**Elasticsearch中的数据可以大致分为两种类型：**

**确切值 及 全文文本。**

确切值是确定的，正如它的名字一样。比如一个date或用户ID，也可以包含更多的字符串比如username或email地址。

确切值"Foo"和"foo"就并不相同。确切值2014和2014-09-15也不相同。

全文文本，从另一个角度来说是文本化的数据(常常以人类的语言书写)，比如一篇推文(Twitter的文章)或邮件正文。

而对于全文数据的查询来说，却有些微妙。我们不会去询问这篇文档是否匹配查询要求？。 但是，我们会询问这篇文档和查询的匹配程度如何？。换句话说，对于查询条件，这篇文档的相关性有多高？

我们很少确切的匹配整个全文文本。我们想在全文中查询包含查询文本的部分。不仅如此，我们还期望搜索引擎能理解我们的意图：

一个针对"UK"的查询将返回涉及"United Kingdom"的文档

一个针对"jump"的查询同时能够匹配"jumped"， “jumps”， “jumping"甚至"leap”

“johnny walker"也能匹配"Johnnie Walker”， “johnnie depp"及"Johnny Depp”

"fox news hunting"能返回有关hunting on Fox News的故事，而"fox hunting news"也能返回关于fox hunting的新闻故事。

为了方便在全文文本字段中进行这些类型的查询，**Elasticsearch首先对文本分析(analyzes)，然后使用结果建立一个倒排索引**。接下来我们将讨论倒排索引及分析过程。

--------------------

## 二、倒排索引 ##

Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。

例如，我们有两个文档，每个文档content字段包含：

（1）The quick brown fox jumped over the lazy dog
    （2）Quick brown foxes leap over lazy dogs in summer

为了创建倒排索引，我们首先切分每个文档的content字段为单独的单词（我们把它们叫做词(terms)或者表征(tokens)）（译者注：关于terms和tokens的翻译比较生硬，只需知道语句分词后的个体叫做这两个。），把所有的唯一词放入列表并排序，结果是这个样子的：

<table> 
 <thead> 
  <tr> 
   <th>Term</th> 
   <th>Doc_1</th> 
   <th>Doc_2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Quick</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>The</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>brown</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>dog</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>dogs</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>fox</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>foxes</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>in</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>jumped</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>lazy</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>leap</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>over</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>quick</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>summer</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>the</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

现在，如果我们想搜索"quick brown"，我们只需要找到每个词在哪个文档中出现即可：

<table> 
 <thead> 
  <tr> 
   <th>Term</th> 
   <th>Doc_1</th> 
   <th>Doc_2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>brown</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>quick</td> 
   <td>X</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>-----</td> 
   <td>-------</td> 
   <td>-----</td> 
  </tr> 
  <tr> 
   <td>Total</td> 
   <td>2</td> 
   <td>1</td> 
  </tr> 
 </tbody> 
</table>

两个文档都匹配，但是第一个比第二个有更多的匹配项。 如果我们加入简单的相似度算法(similarity algorithm)，计算匹配单词的数目，这样我们就可以说第一个文档比第二个匹配度更高——对于我们的查询具有更多相关性。

但是在我们的倒排索引中还有些问题：

(1) "Quick"和"quick"被认为是不同的单词，但是用户可能认为它们是相同的。

(2) “fox"和"foxes"很相似，就像"dog"和"dogs”——它们都是同根词。

(3) "jumped"和"leap"不是同根词，但意思相似——它们是同义词。

上面的索引中，搜索"+Quick +fox"不会匹配任何文档（记住，前缀+表示单词必须匹配到）。只有"Quick"和"fox"都在同一文档中才可以匹配查询，但是第一个文档包含"quick fox"且第二个文档包含"Quick foxes"。（译者注：这段真啰嗦，说白了就是单复数和同义词没法匹配）

用户可以合理地希望两个文档都能匹配查询，我们也可以做得更好。

如果我们将词为统一为标准格式，这样就可以找到不是确切匹配查询，但是足以相似从而可以关联的文档。例如：

（1）“Quick"可以转为小写成为"quick”。  
（2）“foxes"可以被转为根形式"fox”。同理"dogs"可以被转为"dog"。  
（3）“jumped"和"leap"同义就可以只索引为单个词"jump”。

现在的索引：

<table> 
 <thead> 
  <tr> 
   <th>Term</th> 
   <th>Doc_1</th> 
   <th>Doc_2</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>brown</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>dog</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>fox</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>in</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>jump</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>lazy</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>over</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>quick</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>summer</td> 
   <td></td> 
   <td>X</td> 
  </tr> 
  <tr> 
   <td>the</td> 
   <td>X</td> 
   <td>X</td> 
  </tr> 
 </tbody> 
</table>

但我们还未成功。我们的搜索"+Quick +fox"依旧失败，因为"Quick"的确切值已经不在索引里，不过，如果我们使用相同的标准化规则处理查询字符串的content字段，查询将变成"+quick +fox"，这样就可以匹配到两个文档。

**这很重要,你只可以找到确实存在于索引中的词，所以索引文本和查询字符串都要标准化为相同的形式。**

**这个标记化和标准化的过程叫做分词(analysis)**

--------------------

## 三、分析和分析器 ##

### 3.1 分析 ###

**分析(analysis)是这样一个过程：**

首先，标记化一个文本块为适用于倒排索引单独的词(term)然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”，这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个包里：

**（1）字符过滤器**

> 首先字符串经过字符过滤器(character filter)，它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记，或者转换"&“为"and”。

**(2) 分词器**

> 下一步，分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开（译者注：这个在中文中不适用）。

**(3) 标记过滤**

> 最后，每个词都通过所有标记过滤(token filters)，它可以修改词（例如将"Quick"转为小写），去掉词（例如停用词像"a"、“and”、“the"等等），或者增加词（例如同义词像"jump"和"leap”）

Elasticsearch提供很多开箱即用的字符过滤器，分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。

--------------------

### 3.2 分析器 ###

Elasticsearch还附带了一些预装的分析器，你可以直接使用它们。下面我们列出了最重要的几个分析器，来演示这个字符串分词后的表现差异：

"Set the shape to semi-transparent by calling set_trans(5)"

**标准分析器**

标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（译者注：就是没啥特殊需求，对于任何一个国家的语言，这个分析器就够用了）。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：

> set, the, shape, to, semi, transparent, by, calling, set\_trans, 5

**简单分析器**

> set, the, shape, to, semi, transparent, by, calling, set, trans

**空格分析器**

空格分析器依据空格切分文本。它不转换小写。产生结果为：

> Set, the, shape, to, semi-transparent, by, calling, set\_trans(5)

**语言分析器**

特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如，english分析器自带一套英语停用词库——像and或the这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，英语单词的主体含义依旧能被理解（译者注：stem English words这句不知道该如何翻译，查了字典，我理解的大概意思应该是将英语语句比作一株植物，去掉无用的枝叶，主干依旧存在，停用词好比枝叶，存在与否并不影响对这句话的理解。）。

english分析器将会产生以下结果：

> set, shape, semi, transpar, call, set\_tran, 5

**注意"transparent"、"calling"和"set\_trans"是如何转为词干的。**

关于前面确切值和全文搜索的差异原因说明，参考：[ES分析器使用][ES 1]

### 3.3 测试分析器 ###

尤其当你是Elasticsearch新手时，对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行，你可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器，被分析的文本做为请求体：

GET /_analyze?analyzer=standard&text=Text to analyze

结果中每个节点在代表一个词：

{
        "tokens": [
            {
                "token": "text",
                "start_offset": 0,
                "end_offset": 4,
                "type": "<ALPHANUM>",
                "position": 0
            },
            {
                "token": "to",
                "start_offset": 5,
                "end_offset": 7,
                "type": "<ALPHANUM>",
                "position": 1
            },
            {
                "token": "analyze",
                "start_offset": 8,
                "end_offset": 15,
                "type": "<ALPHANUM>",
                "position": 2
            }
        ]
    }

token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start\_offset和end\_offset表示词在原文本中占据的位置。

附：更多映射相关查看[Elasticsearch系列(三)mapping详解][Elasticsearch_mapping]

本文转载于[ES映射和分析][ES]

[ES]: https://es.xiaoleilu.com/052_Mapping_Analysis/00_Intro.html
[Elasticsearch_mapping]: https://blog.csdn.net/u012834750/article/details/86659565
[ES 1]: https://es.xiaoleilu.com/052_Mapping_Analysis/40_Analysis.html