学习下ElasticSearch

浅浅的花香味﹌ 2023-06-13 09:58 98阅读 0赞

### ElasticSearch基础概念 ###

[Elasticsearch的Head插件安装][Elasticsearch_Head]

[Elasticsearch在Centos 7上的安装常见的问题][Elasticsearch_Centos 7]

使用场景:比如分库的情况下，你想统计所有数据的报表，就把所有数据都放在ElasticSearch上

<table style="width:378px;"> 
 <tbody> 
  <tr> 
   <td>关系型数据库</td> 
   <td>ElasticSearch</td> 
  </tr> 
  <tr> 
   <td>数据库Database</td> 
   <td>索引index，支持全文检索</td> 
  </tr> 
  <tr> 
   <td>表Table</td> 
   <td>类型Type</td> 
  </tr> 
  <tr> 
   <td><span style="color:#ff0000;">数据行Row</span></td> 
   <td><span style="color:#ff0000;">文档Document</span></td> 
  </tr> 
  <tr> 
   <td>数据列Column</td> 
   <td>字段Field</td> 
  </tr> 
  <tr> 
   <td>模式Schema</td> 
   <td>映射Mapping</td> 
  </tr> 
 </tbody> 
</table>

用关系型数据库就会想到建立一张User表，再建字段等，

而在Elasticsearch的文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式

在ES6.0之后，已经不允许在一个index下建不同的Type了，一个index下只有一个Type(以后版本中Type概念会去掉，可以直接把index类比成Table)

节点Node：

一个ElasticSearch运行的实列，集群构成的单元

集群Cluster：

由一个或多个节点组成，对外提供服务

### Elasticsearch实现原理-倒排索引 ###

ElasticSearch是基于倒排索引实现的

倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。

通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。

**倒排索引—单词词典**

单词词典(Term Dictionary)是倒排索引的重要组成部分。

——记录所有文档的单词，一般都比较大

——记录单词到倒排列表的关联信息(这个单词关联了哪些文档)

**倒排索引—排序列表**

倒排列表(Posting List)记录了单词对应文档的集合，由倒排索引项(Posting)组成

倒排索引项(Posting)主要包含如下信息

—文档Id，用于获取原始信息

—单词频率(TF,Term Frequency)，记录该单词在文档中出现的次数，用于后序相关算分

—位置(Position)，记录单词在文档中的分词位置，用于做词语搜索(Phrase Query)

—偏移(Offset)，记录单词在文档的开始和结束位置，用于高亮显示

### 分词 ###

**搜索引擎的核心是倒排索引，而倒排索引的基础就是分词。所谓分词可以简单理解为将一个完整的句子切割为一个个单词的过程。也可以叫文本分析，在es称为Analysis。**

如文本：elasticSearch是最流行的搜索引擎

分词结果：elasticSearch 流行 搜索引擎

分词器是es中专门处理分词的组件，英文为Analyzer，它的组成如下

Character Filters：针对原始文本特殊处理，比如除html特殊符

Tokenizer：将原始文本按照一定规则切分为单词

TokenFilters：针对tokenizer处理的单词就行在加工，比如转小写，删除或新增处理(比如中文中的 这 呢 无实意的词)

Analyze API

es提供了一个测试分词的API接口，方便验证分词效果，endpoint是\_analyze

—可以直接指定analyze测试

—可以直接指定索引中的字段进行测试

—可以自定义分词器进行测试

### 文档映射Mapping ###

Mapping类似数据库中的表结构定义，主要作用如下：

—定义Index下的字段名(Field Name)

—定义字段的类型，比如数值型、字符串型、布尔型等

—定义倒排索引相关的配置，比如是否索引、记录position等

Dynamic Mapping

es可以自动识别文档字段类型，从而降低用户使用成本

### SearchAPI介绍和相关性算分 ###

**es中存储的数据进行查询分析，endpoint为\_search**

查询主要有两种形式

**1）URI Search**

操作简单，方便通过命令进行测试

但 仅包含部分查询语法

GET /indexname/\_search?q=user:xx

**2）Request Body Search**

es提供的完备查询语法Query DSL(Domain Specific Language)

GET /indexname/\_search

\{  
　　"query": \{  
　　　　"term": \{  
　　　　　　"user": "xx"  
　　　　\}  
　　\}  
\}

**相关算分**

相关算分是指文档与查询语句直接的相关度，英文为relevance

通过倒排索引可以获取与查询语句相匹配的文档列表，那么如何将最符合用户查询的文档放到前列呢

本质是一个排序问题，排序的依据是相关算分

**ES目前主要有两个相关性算分模型**

TF/IDF模型

BM25模型 5.x之后的默认模型

BM25相比TF/IDF的一大优化是降低了TF(Term Frequency单词频率)在过大时的权重

相关算分是shard与shard间是相互独立的，也就意味着一个Term的IDF等值在不同shard上是不同的。文档的相关算分和它所处的shard有关

在文档数量不多时 会导致相关算分严重不准的情况发生

解决办法

—设置分片数是一个，从根本排除问题，在文档数据量不多时可以考虑该方法，(百万到千万)

—二是使用DFS Query Then Ftech查询方式

### Elasticsearch分布式特性 ###

**es支持集群模式，是一个分布式系统，好处是**

—1)增加系统容量：内存、磁盘，使es集群可以支持PB级的数据

如何将数据分布在所有节点上

—引入分片 Shard解决问题

分片是ES支持PB级数据的基石

—分片存储了部分数据，可以分部在任意节点上

**　　—分片数在索引创建时指定且后序不允许再更改(即使你后面新增了也用不到)，默认5个**

—分片有主分片和副本分片之分，以实现数据的高可用

es集群由多个es实列组成

—不同集群通过集群名字来区分，可通过cluster.name修改，默认为elasticSearch

—每个ES实列本质是一个JVM进程，且有自己的名字，通过node.name修改

Master Node：Master节点通过集群中所有的节点选举产生，可以被选举的节点称为master-eligible节点，

学习下ElasticSearch

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Elasticsearch学习

相关 Elasticsearch学习

相关 Elasticsearch 学习笔记（下）

相关学习ElasticSearch：Spring Data ElasticSearch

相关学习下ElasticSearch

相关 Elasticsearch学习笔记（二）Elasticsearch入门

相关 Elasticsearch学习

相关学习Elasticsearch的惊恐日子（下）

相关 Elasticsearch学习

相关 Elasticsearch学习