ElasticSearch 2 (19) - 语言处理系列之故事开始

绝地灬酷狼 2022-03-27 12:44 94阅读 0赞

# ElasticSearch 2 (19) - 语言处理系列之故事开始 #

## 摘要 ##

全文搜索是精度（尽可能少的返回不相关文档）和召回（尽可能多的返回相关文档）的战场。尽管只精确匹配用户查询的词肯定会是精确的，但这并不够。我们可能会丢失许多被用户认为相关的文档，取而代之的是我们需要扩大撒网范围，去搜索那些与原始查询不完全相同但又相关的词。

## 版本 ##

elasticsearch版本: elasticsearch-2.x

## 内容 ##

难道我们不希望在搜索 “quick brown fox” 的时候，能匹配包含 “fast brown foxes” 的文档，搜索 “Johnny Walker” 可以匹配 “Johnnie Walker” ，搜索 “Arnolt Schwarzenneger” 可以匹配 “Arnold Schwarzenegger” ？

如果现存文档正好包含用户的查询，那么它们当然应该出现在结果集的顶部，而弱匹配的文档会随后出现。如果没有完全匹配的文档，我们至少可以为用户提供潜在匹配的可能，它们甚至可能是用户搜索的初衷。

以下有一些需要处理的事情：

*  移除如 *´*、 *^* 和 *¨* 这样的变音符，那么搜索 *rôle* 会匹配 *role* ，反之亦然。参见 **标记的规范化**。
 *  移除单复数形式间的差异（ *fox* 与 *foxes* ）或时态间的差异（ *jumping* 与 *jumped* 与 *jumps* ），可以通过词干提取法获得每个单词的词根形式。参见 **词根提取**。
 *  移除经常使用的普通词或停用词，如：*the* 、 *and* 和 *or* ，以提高搜索效率。参见 **停用词：性能与精度**。
 *  包括同义词使查询 *quick* 也能与 *fast* 匹配，*UK* 能与 *United Kingdom* 匹配。参见 **同义词**。
 *  检查拼写错误或可选拼写形式，或同音异形词的匹配，如：*their* 与 *there*，*meat* 与 *meet* 与 *mete*。参见 **打字或拼写错误**。

在我们处理单个词语之前，需要将文本拆分成多个单词，也就是说我们需要了解词语的组成。这个问题会在 **单词识别** 章节中解决。

不过首先，我们还是来看看如何快速简便的开始对我们的语言进行处理。

## 参考 ##

[elastic.co: Dealing with Human Language][elastic.co_ Dealing with Human Language]

[elastic.co_ Dealing with Human Language]: https://www.elastic.co/guide/en/elasticsearch/guide/current/languages.html