Elasticsearch（+）分析器

╰+哭是因爲堅強的太久メ 2022-02-03 10:21 235阅读 0赞

分析的过程：

1. 表计划一个文本块适用于倒排索引单独的词（term）；

2.标准化这些词为标准形式，提高他们的“可搜索性” 或 “查全率”。

这些过程有分析器完成。

# 1、分析器 #

功能：

## 字符过滤器 ##

首先字符串经过字符过滤器，它们的工作是在标记化前处理字符串。字符过滤器能够去除 HTML标记，或者转换 “&” 为 “and”。

## 分词器 ##

下一步，字符串被分词器标记化成独立的词。一个简单的分词器可以根据空格或逗号将单词分开。

## 标记过滤 ##

最后，每个词都通过所有标记过滤，它可以修改词（例如转小写），去掉词（例如停用词 “a”、“and”、“the”等等），或者增加词（例如同义词像 “jump” 和 “leap”）。

Elasticsearch 提供了很多开箱即用的字符过滤器，分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。

# 2、常用分析器 #

分析器对以下内容的分词差异：

"Set the shape to semi-transparent by calling set_trans(5)"

## 标准分析器 ##

标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（译者注：就是没啥特殊需求，对于任何一个国家的语言，这个分析器就够用了）。它根据[Unicode Consortium][]的定义的**单词边界(word boundaries)**来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：

set, the, shape, to, semi, transparent, by, calling, set_trans, 5

## 简单分析器 ##

简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：

set, the, shape, to, semi, transparent, by, calling, set, trans

## 空格分析器 ##

空格分析器依据空格切分文本。它不转换小写。产生结果为：

Set, the, shape, to, semi-transparent, by, calling, set_trans(5)

## 语言分析器 ##

特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如，`english`分析器自带一套英语停用词库——像`and`或`the`这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，英语单词的主体含义依旧能被理解（译者注：`stem English words`这句不知道该如何翻译，查了字典，我理解的大概意思应该是将英语语句比作一株植物，去掉无用的枝叶，主干依旧存在，停用词好比枝叶，存在与否并不影响对这句话的理解。）。

`english`分析器将会产生以下结果：

set, shape, semi, transpar, call, set_tran, 5

# 3、当分析器被使用 #

当我们索引一个文档，[全文字段][Link 1]（\_all）会被分析为单独的词来创建倒排索引。当我们在全文字段搜索时，我们要让查询字符串经过同样的分析流程处理，以确保这些词在索引中存在。

*  当你查询全文字段，查询将使用相同的分析器来分析查询字符串，以产生正确的词列表。
 *  当你查询一个确切值字段，查询将不分析查询字符串，但是你可以自己指定。

例如：

在索引中有12个tweets，只有一个包含日期`2014-09-15`，但是我们看看下面查询中的`total` hits。

GET /_search?q=2014              # 12 个结果
    GET /_search?q=2014-09-15        # 还是 12 个结果 !
    GET /_search?q=date:2014-09-15   # 1  一个结果
    GET /_search?q=date:2014         # 0  个结果 !

为什么全日期的查询返回所有的tweets，而针对`date`字段进行年度查询却什么都不返回？ 为什么我们的结果因查询`_all`字段(译者注：默认所有字段中进行查询)或`date`字段而变得不同？

想必是因为我们的数据在`_all`字段的索引方式和在`date`字段的索引方式不同而导致。

当我们在`_all`字段查询`2014`，它一个匹配到12条推文，因为这些推文都包含词`2014`：

GET /_search?q=2014              # 12 results

当我们在`_all`字段中查询`2014-09-15`，首先分析查询字符串，产生匹配**任一**词`2014`、`09`或`15`的查询语句，它依旧匹配12个推文，因为它们都包含词`2014`。

GET /_search?q=2014-09-15        # 12 results !

当我们在`date`字段中查询`2014-09-15`，它查询一个**确切**的日期，然后只找到一条推文：

GET /_search?q=date:2014-09-15   # 1  result

当我们在`date`字段中查询`2014`，没有找到文档，因为没有文档包含那个确切的日期：

GET /_search?q=date:2014         # 0  results !

# 4、测试分析器 #

查询指定使用的分析器如何分词：

GET /_analyze?analyzer=standard&text=Text to analyze

结果中每个节点在代表一个词：

{
       "tokens": [
          {
             "token":        "text",
             "start_offset": 0,
             "end_offset":   4,
             "type":         "<ALPHANUM>",
             "position":     1
          },
          {
             "token":        "to",
             "start_offset": 5,
             "end_offset":   7,
             "type":         "<ALPHANUM>",
             "position":     2
          },
          {
             "token":        "analyze",
             "start_offset": 8,
             "end_offset":   15,
             "type":         "<ALPHANUM>",
             "position":     3
          }
       ]
    }

`token`是一个实际被存储在索引中的词。`position`指明词在原文本中是第几个出现的。`start_offset`和`end_offset`表示词在原文本中占据的位置。

[Unicode Consortium]: http://www.unicode.org/reports/tr29/
[Link 1]: https://blog.csdn.net/ruanhao1203/article/details/90032421