elasticsearch lucene 倒排索引

偏执的太偏执、 2022-10-22 01:40 169阅读 0赞

原文链接:[倒排索引][Link 1]

最近在比较深入的了解 elasticsearch 相关的东西，查找了一些资料，现在整理出来，方便自己、大家查阅。最近查阅了不少 es 、lucene 相关的资料，经过整理后会陆续放出来。

查找到的是旧版本的 es 的官方文档，新版的好像没有介绍倒排索引，或者介绍了但我没查到。不管新版还是旧版，倒排索引的原理应该是没有变的。

### 倒排索引 ###

es 使用了倒排索引，设计倒排索引的目的就是为了快速的进行全文搜索。倒排索引是一个列表结构，这个列表是由不同的单词组成，这些单词都是在文档中出现过的。

对于每个单词而言，每个单词后面又跟着一个列表，这个列表记录了该单词在哪些文档中出现过。

例如，假如我们有两个文档，每个文档都含有 content 字段，内容如下:

1.  The quick brown fox jumped over the lazy dog
2.  Quick brown foxes leap over lazy dogs in summer

为了建立倒排索引，我们首先需要把每个文档的 content 字段拆分成单独的词（我们叫 terms 或者 tokens）。为每一个不同的词条创建一个有序列表，然后列出每个词条都有哪些文档中出现过。结果看起来大概是这个样子:

Term      Doc_1  Doc_2
    -------------------------
    Quick   |       |  X
    The     |   X   |
    brown   |   X   |  X
    dog     |   X   |
    dogs    |       |  X
    fox     |   X   |
    foxes   |       |  X
    in      |       |  X
    jumped  |   X   |
    lazy    |   X   |  X
    leap    |       |  X
    over    |   X   |  X
    quick   |   X   |
    summer  |       |  X
    the     |   X   |
    ------------------------

现在，如果我们想要搜索 quick brown，我们仅仅需要找到每个词条出现过的文档:

Term      Doc_1  Doc_2
    -------------------------
    brown   |   X   |  X
    quick   |   X   |
    ------------------------
    Total   |   2   |  1

匹配到了两个文档，但是第一个文档比第二个匹配到的词条更多。假如我们采用一个简单粗暴的算法，计算匹配到的词条的个数，然后我们就认为第一个文档和第二个相比，是个更好的匹配结果，和我们的查询更相关。

但是我们当前的倒排索引还有一些问题:

*  Quick 和 quick 看起来是分开的词条，然而用户可能认为它俩是同一个单词。
 *  fox 和 foxes 很相似，就像 dog 和 dogs ;它们有共同的词根。
 *  jumped 和 leap ，不是同源词根，但意思相似。它们是同义词。

用之前的索引，我们用 +Quick +fox 搜索将匹配不到任何文档。（记住，前面的 + 号意思是 + 号后面的单词必须出现）。词条 Quick 和 fox 在同一篇文档中必须都出现才满足我们的搜索条件。但是第一个文档包含 quick fox ，第二个文档包含 Quick foxes 。

我们的用户当然期望两个文档都匹配到查询。我们还可以做的更好。

如果我们把词条经过标准化，转换成标准的格式。然后我们就可以为用户找到相关的文档，虽然文档中包含的词条和用户搜索请求的词条不完全一致，但足够相似，仍然相关。

例如:

*  Quick 可以小写化，转换为 quick 。
 *  foxes 可以退化成它的词根，成为 fox 。相似的，dogs 也可以转化成 dog 。
 *  jumped 和 leap 是同义词，可以只索引词条 jump 。

现在，索引看起来是下面的这个样子:

Term      Doc_1  Doc_2
    -------------------------
    brown   |   X   |  X
    dog     |   X   |  X
    fox     |   X   |  X
    in      |       |  X
    jump    |   X   |  X
    lazy    |   X   |  X
    over    |   X   |  X
    quick   |   X   |  X
    summer  |       |  X
    the     |   X   |  X
    ------------------------

但是仅仅如此还不够。我们的搜索请求 +Quick +fox 还是会失败，因为在我们的索引中不再有 Quick 这个词条。然而，如果我们把用在 content 字段上的标准化的规则，同样的应用在搜索请求字符串中，就会成为 +quick +fox 这样的查询请求，这个查询请求可以匹配到两个文档。

#### 注意: ####

在建立索引的时候的标准化操作，在查询的时候也需要同样的做一遍，这很重要。想要搜索出结果，待搜索的词条必须要在索引中存在。不做标准化的话，有些词条在索引中是不存在的。

这个解析 token 和标准化的过程就叫做分词，我们会在下一章中讨论分词。

[Link 1]: https://www.elastic.co/guide/en/elasticsearch/guide/current/inverted-index.html