一篇文章带你入门并使用Elastic Stack

柔情只为你懂 2023-09-26 23:27 15阅读 0赞

#### 为什么需要ElasticSearch? ####

根本：用like查询 不能满足需求。

比如一个短语叫：蔡徐坤喜欢打篮球。如果我们搜索"蔡徐坤篮球"，那么利用like是查询不到的。

且在大量数据的前提下，like查询效率低下，速度慢。

#### ElasticSearch概念 ####

核心：类比数据库

可以简单理解成一个数据库，例如MySQL.

学习es的时候可以对照着学。例如elasticSearch的索引就可以类比成mysql中的表。

安装

[www.elastic.co/cn/][www.elastic.co_cn]

[www.elastic.co/guide/index…][www.elastic.co_guide_index]

es迭代超级快！建议读官方文档，本文章只是初步讲解，可以跟着这个思路去读es的官方文档。

首先明确几个概念：

*  estack 是一套技术栈,包含了数据的整合，抽取，存储 ，使用
 *  beats 从不同类型的文件/应用来获取，采集数据（数据采集器）
 *  logstash：从多个采集器或者数据源中抽取，转换数据（转成我们需要的）。并向es输送。
 *  es:存储查询数据
 *  kibana：可视化es数据

安装ES，kibana

在该页面中[www.elastic.co/guide/index…][www.elastic.co_guide_index]

找到

![format_png][]

![format_png 1][]

把两个页面打开到新的标签页。

**注意不要用8的版本！**

很不适合新手！会有https以及安全校验，初次使用问题很多。

**我这里选择7.17版本**

[www.elastic.co/guide/en/el…][www.elastic.co_guide_en_el]

![format_png 2][]

[www.elastic.co/guide/en/ki…][www.elastic.co_guide_en_ki]

注意，这一套技术栈的版本一定要一致！！

ES相比于MySQL,能自动做分词，能高效灵活查询内容。

#### Quick start ####

[www.elastic.co/guide/en/el…][www.elastic.co_guide_en_el]

kibana启动后：[http://localhost:5601/app/dev\_tools\#/console][http_localhost_5601_app_dev_tools_console]

以下只是笔者写的demo，更多实操需要同学们自己去官网阅读。

这是es的DSL语法，仅仅供es使用

#### 基本使用 ####

增加文档

POST article/_doc
    {
      "title":"文章",
      "desc":"好文章"
    }
    复制代码

查询文档

后面的索引是增加文档后返回的

GET article/_doc/_-cifocBWgoYUa01_dPj
    复制代码

查询结果

{
      "_index" : "article",
      "_type" : "_doc",
      "_id" : "_-cifocBWgoYUa01_dPj",
      "_version" : 1,
      "_seq_no" : 1,
      "_primary_term" : 1,
      "found" : true,
      "_source" : {
        "title" : "文章",
        "desc" : "好文章"
      }
    }
    复制代码

compound queries

POST _search
    {
      "query": {
        "bool" : {
            //must:必须要包含
          "must" : {
            //term必须完全符合，不允许模糊  
            "term" : { "user.id" : "kimchy" }
          },
            //过滤器，不影响评分 
          "filter": {
            "term" : { "tags" : "production" }
          },
            //must_not:必须不包含
          "must_not" : {
            "range" : {
              "age" : { "gte" : 10, "lte" : 20 }
            }
          },
            //should 和 minimum_should_match连起来用，这里minimum_should_match为1，说明should中的条件至少需要满足一个
          "should" : [
            { "term" : { "tags" : "env1" } },
            { "term" : { "tags" : "deployed" } }
          ],
          "minimum_should_match" : 1,
          "boost" : 1.0
        }
      }
    }
    复制代码

更新文档

POST article/_doc/_-cifocBWgoYUa01_dPj
    {
      "title":"文章",
      "desc":"坏文章"
    }
    复制代码

更新结果

{
      "_index" : "article",
      "_type" : "_doc",
      "_id" : "_-cifocBWgoYUa01_dPj",
      "_version" : 2,
      "_seq_no" : 2,
      "_primary_term" : 1,
      "found" : true,
      "_source" : {
        "title" : "文章",
        "desc" : "坏文章"
      }
    }
    
    复制代码

删除文档

DELETE article/_doc/_-cifocBWgoYUa01_dPj
    复制代码

#### 索引的概念 ####

正向索引：理解为书籍的目录，可以高速找到对应的内容。（怎么根据页码找到文章）

倒排索引：

根据内容找到文章。本质：构建倒排索引。

比如两句句话：

文章A：nika是南信大的学生

文章B：南信大是nika的母校

构建倒排索引

用户搜 nika学生

es先切词。nika,学生

所以根据nika，找到了文章A，B，学生找到了文章A。

#### Mapping的概念 ####

![format_png 3][]

官网也有。

理解为数据库的表结构，有哪些字段，有哪些类型

查询表结构

Dynamic Mapping

GET article/_mapping
    复制代码

表结构结果

{
      "article" : {
        "mappings" : {
          "properties" : {
            "desc" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "title" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        }
      }
    }
    复制代码

这里的mapping虽然说可以类比成mysql中的表结构，但是比它更加灵活。你在添加数据的时候，甚至可以添加结构中没有的字段，比如：

POST article/_doc/1
    {
      "title":"文章",
      "desc":"好文章",
      "extra":"我是表结构中没有的字段"
    }
    复制代码

结果也是成功的

{
      "_index" : "article",
      "_type" : "_doc",
      "_id" : "1",
      "_version" : 1,
      "result" : "created",
      "_shards" : {
        "total" : 2,
        "successful" : 1,
        "failed" : 0
      },
      "_seq_no" : 4,
      "_primary_term" : 1
    }
    复制代码

Explicit mapping

当然，es也支持显式的表结构创建

创建一个user表，定义好年龄是整数，email是keyword(不可分词的字符串，它不会把这个词拆分)，name是text

PUT /user
    {
      "mappings": {
        "properties": {
          "age":    { "type": "integer" },  
          "email":  { "type": "keyword"  }, 
          "name":   { "type": "text"  }     
        }
      }
    }
    复制代码

再查询一下user的mapping

{
      "user" : {
        "mappings" : {
          "properties" : {
            "age" : {
              "type" : "integer"
            },
            "email" : {
              "type" : "keyword"
            },
            "name" : {
              "type" : "text"
            }
          }
        }
      }
    }
    复制代码

#### 小总结 ####

至此，es的增删改查你应该已经学会了，我们需要类比着去学。mapping可以类比成MySQL的表结构（schema），索引就是MySQL中的表

#### EQL ####

ESC简介

在了解EQL之前，我们需要知道什么是ECS(Elastic Common Schema)。是一种用于定义各种类型**日志和指标**的公共**数据模型规范**。

ECS提供了一组字段名称和数据类型，包括一组**预定义字段**，涵盖常见的数据点，如时间戳，用户代理，ip地址，URL，Http状态码，除了这些预定义字段，es也能允许**自定义字段**，使用户将数据点添加到公共数据模型中。

> 所以，本质上，用人话说就是，ESC就是一个别人给你提供好的表结构，它很规范，你可以在它的基础上加表结构字段，就这么简单

ESC简介

EQL其实就是 专门查询 ESC 的语法。

使用EQL

首先，我们先创建一个ESC的表结构，其实在官网上的Quick Start 的demo中，创建的就是ESC的表结构。

我们粘一下官网的demo，改以下表名，就叫他my\_ecs吧

POST my_ecs/_doc
    {
      "@timestamp": "2099-05-06T16:21:15.000Z",
      "event": {
        "original": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] "GET /images/bg.jpg HTTP/1.0" 200 24736"
      }
    }
    复制代码

创建完了以后，我们就可以使用EQL语法了，打开官方文档。[www.elastic.co/guide/en/el…][www.elastic.co_guide_en_el 1]

这个文档里面的东西别去记忆，用的时候找就好了。

#### SQL ####

es不仅支持以上语法，如果你学过sql的话，那你甚至可以直接用sql进行查询！

[www.elastic.co/guide/en/el…][www.elastic.co_guide_en_el 2]

POST /_sql?format=txt
    {
      "query": "SELECT * FROM article WHERE title like '%文章%'"
    }
    复制代码

这是学习成本最低的方式

#### 小总结 ####

DSL的语法，类似HTTP请求，以json的格式操作es，简单，灵活，拓展性好。但是可读性差

EQL的语法，声明式，易于读写，支持多个索引，多个类型的查询，结果更加直观，但是只适用于特定场景。

SQL语法，学习成本低，但需要额外插件或者工具，性能差

**DSL是应用最广，最推荐的语言**

#### 分词器 ####

[www.elastic.co/guide/en/el…][www.elastic.co_guide_en_el 3]

分词的一种规则

比如官方的示例：使用了whitespace(空格)的分析器，分析这个text

POST _analyze
    {
      "analyzer": "whitespace",
      "text":     "The quick brown fox."
    }
    复制代码

结果

{
      "tokens" : [
        {
          "token" : "The",
          "start_offset" : 0,
          "end_offset" : 3,
          "type" : "word",
          "position" : 0
        },
        {
          "token" : "quick",
          "start_offset" : 4,
          "end_offset" : 9,
          "type" : "word",
          "position" : 1
        },
        {
          "token" : "brown",
          "start_offset" : 10,
          "end_offset" : 15,
          "type" : "word",
          "position" : 2
        },
        {
          "token" : "fox.",
          "start_offset" : 16,
          "end_offset" : 20,
          "type" : "word",
          "position" : 3
        }
      ]
    }
    
    复制代码

标准分词规则，**但是一般不用**

POST _analyze
    {
      "tokenizer": "standard",
      "filter":  [ "lowercase", "asciifolding" ],
      "text":      "Is this déja vu?"
    }
    复制代码

结果：我们发现，词被分成了四个，且全变成了小写，韵母也没了，这就是filter的作用

{
      "tokens" : [
        {
          "token" : "is",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "<ALPHANUM>",
          "position" : 0
        },
        {
          "token" : "this",
          "start_offset" : 3,
          "end_offset" : 7,
          "type" : "<ALPHANUM>",
          "position" : 1
        },
        {
          "token" : "deja",
          "start_offset" : 8,
          "end_offset" : 12,
          "type" : "<ALPHANUM>",
          "position" : 2
        },
        {
          "token" : "vu",
          "start_offset" : 13,
          "end_offset" : 15,
          "type" : "<ALPHANUM>",
          "position" : 3
        }
      ]
    }
    复制代码

#### IK分词器（常用，国内友好，ES插件） ####

[github.com/medcl/elast…][github.com_medcl_elast]

这是个github 15k Star 的开源项目。这是对es的一个扩展。

由于官网上默认的分词器都是针对英文的。比如，英文都是空格分割的，而中文一般不这样分词，因此我们需要插件帮我们去给中文分词。

由于我们用的是7.17版本，因此我们需要下7.17版本的依赖

[github.com/medcl/elast…][github.com_medcl_elast 1]

我们这里下7.17.7。下zip压缩包。

在你的es文件夹里面新建一个plugins目录，将这个压缩包解压进去。

![format_png 4][]

然后最关键一点来了。

由于我们的es是7.17.9，然而我们的插件是7.17.7，因为下不到7.17.9，只能退而求其次。我们这个时候要修改一个文件

![format_png 5][]

打开prperties文件,把里面所有7.17.7改为7.17.9即可。

再次去bin目录，启动es。

我们用再到kibana的控制台，去试试ik的分词器。

用一下他的分词器**ik\_smart**

POST _analyze
    {
      "analyzer": "ik_max_word",
      "text":     "nika是南信大的学生"
    }
    复制代码

结果

{
      "tokens" : [
        {
          "token" : "nika",
          "start_offset" : 0,
          "end_offset" : 4,
          "type" : "ENGLISH",
          "position" : 0
        },
        {
          "token" : "是",
          "start_offset" : 4,
          "end_offset" : 5,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "南",
          "start_offset" : 5,
          "end_offset" : 6,
          "type" : "CN_CHAR",
          "position" : 2
        },
        {
          "token" : "信",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "CN_CHAR",
          "position" : 3
        },
        {
          "token" : "大",
          "start_offset" : 7,
          "end_offset" : 8,
          "type" : "CN_CHAR",
          "position" : 4
        },
        {
          "token" : "的",
          "start_offset" : 8,
          "end_offset" : 9,
          "type" : "CN_CHAR",
          "position" : 5
        },
        {
          "token" : "学生",
          "start_offset" : 9,
          "end_offset" : 11,
          "type" : "CN_WORD",
          "position" : 6
        }
      ]
    }
    复制代码

我们发现，他确实生效了，把学生归为一个词了，但是仍然不能按照我们的想法去分词，比如我要分成：我是。南信大的。学生。

其实这个也很简单，可以自己自定义一个词库。可以自己配置。感兴趣同学再搜索搜索。

ik\_max\_word

再试试ik\_max\_word,他其实做的是尽可能多的去分词。比如

POST _analyze
    {
      "analyzer": "ik_max_word",
      "text":     "大学生"
    }
    复制代码

他的结果是

{
      "tokens" : [
        {
          "token" : "大学生",
          "start_offset" : 0,
          "end_offset" : 3,
          "type" : "CN_WORD",
          "position" : 0
        },
        {
          "token" : "大学",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 1
        },
        {
          "token" : "学生",
          "start_offset" : 1,
          "end_offset" : 3,
          "type" : "CN_WORD",
          "position" : 2
        }
      ]
    }
    复制代码

ik\_smart

而ik\_smart的结果则是

{
      "tokens" : [
        {
          "token" : "大学生",
          "start_offset" : 0,
          "end_offset" : 3,
          "type" : "CN_WORD",
          "position" : 0
        }
      ]
    }
    
    复制代码

看上去更加智能些！

#### ES打分机制 ####

es有自己独特的打分机制。

举个例子，四句话

1.  nika是南信大的大二学生
2.  nika是大二学生
3.  nika是学生

这里用户搜nika，如果只要求返回一条数据，那么就会返回第三条。

> 因为es默默地去给每句话打分，哪个高，哪个排在前面，因为第三条不仅匹配，且占这句话的比例高。

其实背后也很复杂，有自己的算法，感兴趣的同学深入了解。

#### Spring Data Elasticsearch ####

spring-data 系列：是spring提供的操作数据的框架。

比如spring-data-redis,spring-data-mongodb之类的

我们这次要用的是 spring-data-elasticsearch

**这里我们去看spring的官方文档**

[spring.io/projects/sp…][spring.io_projects_sp]

这里要注意的是，我们安装的es的版本也必须要和依赖版本强一致！！

[docs.spring.io/spring-data…][docs.spring.io_spring-data]

这里进行查看版本依赖关系

![format_png 6][]

我们用的是7.17.7，因此，选择spring-data-elasticsearch 4.4.x版本的，回到[spring.io/projects/sp…][spring.io_projects_sp]页面，选择对应版本的GA版本。

点进去之后，我们先阅读核心概念

[docs.spring.io/spring-data…][docs.spring.io_spring-data 1]

这个文章里有相关增删改查的示例。不得不说，写的相当差。但没办法。

#### Java代码实操 ####

创建ES Mapping（表结构）

> tip:如果你声明一个字段的type是text，那么你可以传一个text，也可以传一个text的数组，这是es的一个特性。

es中尽量存放需要用户筛选，并且搜索的数据，且频繁变化的数据也不建议放入es中。

PUT article_v1
    {
      "aliases": {
        "article": {}
      },
      "mappings": {
        "properties": {
          "title": {
            "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_smart",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "content": {
            "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_smart",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "tags": {
            "type": "keyword"
          },
          "thumbNum": {
            "type": "long"
          },
          "favourNum": {
            "type": "long"
          },
          "userId": {
            "type": "keyword"
          },
          "createTime": {
            "type": "date"
          },
          "updateTime": {
            "type": "date"
          },
          "isDelete": {
            "type": "keyword"
          }
        }
      }
    }
    复制代码

*  alias：别名，你用article也能找到这个索引（表)article\_v1,方便数据迁移
 *  如果你的字段类型是text，这个字段就是可以被分词，可以模糊查询的；如果是keyword,就只能完全匹配，精确查询。
 *  analyser（存储时生效的分词器）,存储时候生效的分词器，用ik\_max\_word,拆解的多，尽可能被搜出。
 *  search\_analyser（查询时生效的分词器）:用ik\_smart,更偏向于用户想搜的分词
 *  如果想让text的分词字段也支持精确查询
    
        "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                      //超过字符数忽略查询
                  }
           }
        复制代码

这些结构的选择，都是实践状态下的最佳实践，以后创建表结构参考这个案例就好了。

增删改查

**第一种方式**：通过ElasticsearchRepository.可以根据方法名，生成查询语句

public interface PostEsDao extends ElasticsearchRepository<PostEsDTO, Long> {
    
        List<PostEsDTO> findByUserId(Long userId);
    }
    复制代码

ArticleEsDTO articleEsDTO = new ArticleEsDTO();
            articleEsDTO.setTitle("nika");
            articleEsDTO.setContent("nika是南信大的学生");
            articleEsDTO.setUserId(0L);
            articleEsDTO.setCreateTime(new Date());
            articleEsDTO.setUpdateTime(new Date());
            articleEsDTO.setIsDelete(0);
            articleEsDao.save(articleEsDTO);
            System.out.println(articleEsDTO);
    复制代码

其它的api自己追一追源码即可，非常简单，和mybatis和mongoTemplate之类的东西非常类似，这里不一一列举。

**第二种方式**：更灵活，传入参数更多。

@Resource
        private ElasticsearchRestTemplate elasticsearchRestTemplate;
    复制代码

同理，不一一列举

#### 小总结 ####

在写es的过程中，你会发现，只要你能在kibana的devtools里面把DSL写出来，就能映射到Java的api中。

因此我们在写复杂的业务的时候，尽量先在kibana的devtools中把这个DSL能跑通之后，再把这段逻辑映射到代码实现里。

> 尽量不要用sql，性能低下

#### ES数据同步 ####

es的运用场景有很多，比如熟知的日志系统，搜索系统等。

他的主要优势点是查。而这个数据是从哪里来呢？没错就是从其它数据源来，当其他数据源的数据增加的时候，我们需要对es的数据做相应的同步。

同步策略无非以下几种：

1.  定时任务同步。如每隔一段时间，根据上一分钟updatetime字段，从 MySQL中查询相应数据，同步到es。这个适用于，MySQL写的不多，查询需求不紧急的情况。
2.  双写。在写MySQL的同时，写es。这个比较危险，需要事务进行保证双写要么成功要么失败。
3.  logStash组件

#### LogStash ####

[www.elastic.co/guide/en/lo…][www.elastic.co_guide_en_lo]

这个比较简单，同学们按照本文讲的方式自己探索即可

[www.elastic.co_cn]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fcn%2F
[www.elastic.co_guide_index]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Findex.html
[format_png]: https://img-blog.csdnimg.cn/img_convert/0ed03e4fa5e47b4ae6c3d842a1a6dff4.webp?x-oss-process=image/format,png
[format_png 1]: https://img-blog.csdnimg.cn/img_convert/6c9224b49e0fe68d171575b121ea9f33.webp?x-oss-process=image/format,png
[www.elastic.co_guide_en_el]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F7.17%2Fgetting-started.html
[format_png 2]: https://img-blog.csdnimg.cn/img_convert/21dfbcccddd814b8bc83ba730b73ebb4.webp?x-oss-process=image/format,png
[www.elastic.co_guide_en_ki]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Fkibana%2F7.17%2Fintroduction.html
[http_localhost_5601_app_dev_tools_console]: https://link.juejin.cn?target=http%3A%2F%2Flocalhost%3A5601%2Fapp%2Fdev_tools%23%2Fconsole
[format_png 3]: https://img-blog.csdnimg.cn/img_convert/1b897c7a4b34a53707228cfee9b210f1.webp?x-oss-process=image/format,png
[www.elastic.co_guide_en_el 1]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F7.17%2Feql-syntax.html
[www.elastic.co_guide_en_el 2]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F7.17%2Fsql-getting-started.html
[www.elastic.co_guide_en_el 3]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F7.17%2Ftest-analyzer.html
[github.com_medcl_elast]: https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fmedcl%2Felasticsearch-analysis-ik
[github.com_medcl_elast 1]: https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fmedcl%2Felasticsearch-analysis-ik%2Ftags%3Fafter%3Dv8.2.0
[format_png 4]: https://img-blog.csdnimg.cn/img_convert/e7ac68327675f030eb9f1e53a897982d.webp?x-oss-process=image/format,png
[format_png 5]: https://img-blog.csdnimg.cn/img_convert/75b77981978fd3f42895dfc29df0bc02.webp?x-oss-process=image/format,png
[spring.io_projects_sp]: https://link.juejin.cn?target=https%3A%2F%2Fspring.io%2Fprojects%2Fspring-data-elasticsearch
[docs.spring.io_spring-data]: https://link.juejin.cn?target=https%3A%2F%2Fdocs.spring.io%2Fspring-data%2Felasticsearch%2Fdocs%2Fcurrent%2Freference%2Fhtml%2F%23preface.metadata
[format_png 6]: https://img-blog.csdnimg.cn/img_convert/29f019b69d3edd749b9f12e3f2510489.webp?x-oss-process=image/format,png
[docs.spring.io_spring-data 1]: https://link.juejin.cn?target=https%3A%2F%2Fdocs.spring.io%2Fspring-data%2Felasticsearch%2Fdocs%2F4.4.10%2Freference%2Fhtml%2F%23repositories.core-concepts
[www.elastic.co_guide_en_lo]: https://link.juejin.cn?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Flogstash%2F7.17%2Finstalling-logstash.html