ElasticSearch的介绍及使用

短命女 2022-04-10 02:20 282阅读 0赞

### 1.ElasticSearch ###

**简介** : 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。

Elasticsearch**官网**：https://www.elastic.co/cn/products/elasticsearch

**特点**：

*  分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）
 *  Restful风格，一切API都遵循Rest原则，容易上手
 *  近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

**版本** : 目前Elasticsearch最新的版本是6.4.1，我们使用这个版本6.2.4

需要JDK1.8及以上  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70]

### 2.了解搜索技术 ###

##### 2.1. 搜索引擎的种类 #####

搜索引擎按照功能通常分为**垂直搜索**和**综合搜索**。

1、垂直搜索是指专门针对某一类信息进行搜索。
    	例如：会搜网 主要做商务搜索的，并且提供商务信息。除此之外还有爱看图标网、职友集等。
    2、综合搜索是指对众多信息进行综合性的搜索。
    	例如：百度、谷歌、必应、搜狗、360搜索等。

##### 2.2 倒排索引 #####

以我的理解就是:我们对数据库原始的数据根据字或词进行索引,创建倒排索引数据区域,记录字或词在文档中出现位置(id列表)。  
用户有查询需求时，先访问倒排索引数据区域（下图），得出文档id列表后，通过文档id即可快速，准确的通过上图找到具体的文档内容。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_1_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 1]

### 3.Elasticsearch安装 ###

#### 3.1.安装和配置 ####

##### 3.1.1 下载 #####

下载地址：https://www.elastic.co/downloads/past-releases

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_1_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 2]

##### 3.2.2 安装 #####

elasticsearch无需安装，解压即用。双击运行  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 3]  
可以看到绑定了两个端口:  
![在这里插入图片描述][20181223230539273.png]

*  9300：java程序访问的端口
 *  9200：浏览器、postman访问接口

我们在浏览器中访问：http://127.0.0.1:9200

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 4]

### 3.4.安装Head插件 ###

##### 3.4.1.什么是Head #####

ealsticsearch只是后端提供各种api，那么怎么直观的使用它呢？elasticsearch-head将是一款专门针对于elasticsearch的**客户端工具**，类似mysql的sqlyog或者navicat

elasticsearch-head配置包，下载地址：[https://github.com/mobz/elasticsearch-head][https_github.com_mobz_elasticsearch-head]

##### 3.4.2.安装 #####

*  **es5以上版本安装head需要安装node和grunt**

第一步：**从地址：https://nodejs.org/en/download/ 下载相应系统的msi，双击安装。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 5]  
第二步：**安装完成用cmd进入安装目录执行 node -v可查看版本号**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 6]

第三步：**执行 npm install -g grunt-cli 安装grunt ，安装完成后执行grunt -version查看是否安装成功，会显示安装的版本号**  
![在这里插入图片描述][20181223230751907.png]

第四步：进入E:\\environment2\\elasticsearch-head-master文件夹，执行npm install命令  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 7]

第五步:运行head插件，下面命令二选一

*  命令一：npm run start
 *  命令二：grunt server

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 8]

第六步：访问9100端口  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 9]

### 3.4.3.配置运行 ###

第一步：进入es安装目录下的config目录，修改elasticsearch.yml文件.在文件的末尾加入以下代码

http.cors.enabled: true 
    http.cors.allow-origin: "*"
    node.master: true
    node.data: true

然后去掉network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0，去掉cluster.name；node.name；http.port的注释（也就是去掉\#）

第二步：双击elasticsearch.bat重启es

第三步：在https://github.com/mobz/elasticsearch-head中下载head插件，选择下载zip

第四步：解压到指定文件夹下，D:\\environment\\elasticsearch-head-master 进入该文件夹，修改D:\\environment\\elasticsearch-head-master\\Gruntfile.js 在对应的位置加上hostname:’\*’、

![在这里插入图片描述][20181223231012736.png]

第五步：在D:\\environment\\elasticsearch-head-master 下执行npm install 安装完成后执行grunt server 或者npm run start 运行head插件，如果不成功重新安装grunt。成功如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 10]

### 4.入门案例(整合Springboot) ###

##### 4.1 pom导入依赖 #####

<dependency>
       <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>

##### 4.2 application.yml文件配置 #####

spring:
      data:
        elasticsearch:
          cluster-name: my-application
          cluster-nodes: 127.0.0.1:9300

##### 4.3.索引操作 #####

*  创建索引和映射

> SpringBoot-data-elasticsearch提供了**面向对象**的方式操作elasticsearch业务：将商品的信息存入elasticsearch，并且执行搜索操作

实体类:

public class Item { 
        private Long id;
        private String title; //标题
        private String category;// 分类
        private Double price; // 价格
        private String images; // 图片地址
    }

映射—注解:

Spring Data通过注解来声明字段的映射属性，有下面的三个注解：
    - `@Document` 作用在类，标记实体类为文档对象，一般前两个属性
      - indexName：对应索引库名称
      - type：对应在索引库中的类型
      - shards：分片数量，默认5
      - replicas：副本数量，默认1
    - `@Id` 作用在成员变量，标记一个字段作为id主键
    - `@Field` 作用在成员变量，标记为文档的字段，并指定字段映射属性：
      - type：字段类型，是是枚举：FieldType，可以是text、long、short、date、integer、object等
      - text：存储数据时候，会自动分词，并生成索引
      - keyword：存储数据时候，不会分词建立索引
      - Numerical：数值类型，分两类
        - 基本数据类型:long、interger、short、byte、double、float、half_float
        - 浮点数的高精度类型：scaled_float
          - 需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。
      - Date：日期类型
        - elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。
    - index：是否索引，布尔类型，默认是true
    - store：是否存储，布尔类型，默认是false
    - analyzer：分词器名称，这里的`ik_max_word`即使用ik分词器

示例 :

@Document(indexName = "item",type = "docs", shards = 1, replicas = 0)
    public class Item { 
        @Id
        private Long id;
        @Field(type = FieldType.Text, analyzer = "ik_max_word")
        private String title; //标题
        @Field(type = FieldType.Keyword)
        private String category;// 分类
        @Field(type = FieldType.Double)
        private Double price; // 价格
        @Field(index = false, type = FieldType.Keyword)
        private String images; // 图片地址
    }

ElasticsearchTemplate中提供了创建索引的API:

@Test
    public void createIndex() { 
        // 创建索引，会根据Item类的@Document注解信息来创建
        esTemplate.createIndex(Item.class);
        // 配置映射，会根据Item类中的id、Field等字段来自动完成映射
        esTemplate.putMapping(Item.class);
        // 删除索引
        esTemplate.deleteIndex(Item.class);
        // 根据索引名字删除
        //esTemplate.deleteIndex("item1");
    }

操作数据:

public interface ItemRepository extends ElasticsearchRepository<Item,Long> { 
    }

@Autowired
    private ItemRepository itemRepository;
    
    @Test
    public void index() { 
    	//添加一个
        Item item = new Item(1L, "小米手机7", " 手机","小米", 3499.00, "http://image.baidu.com/13123.jpg");
        itemRepository.save(item);
    
    	//添加多个
    	List<Item> list = new ArrayList<>();
        list.add(new Item(2L, "坚果手机R1", " 手机", "锤子", 3699.00, "http://image.baidu.com/13123.jpg"));
        list.add(new Item(3L, "华为META10", " 手机", "华为", 4499.00, "http://image.baidu.com/13123.jpg"));
        itemRepository.saveAll(list);
    
    	//elasticsearch中本没有修改，它的是该是先删除在新增,修改和新增是同一个接口，区分的依据就是id。
    	Item item = new Item(1L, "苹果XSMax", " 手机", "小米", 3499.00, "http://image.baidu.com/13123.jpg");
        itemRepository.save(item);
    
    	//查询所有
    	Iterable<Item> list = this.itemRepository.findAll();
        // 对某字段排序查找所有 Sort.by("price").descending() 降序 , Sort.by("price").ascending():升序
        Iterable<Item> list = this.itemRepository.findAll(Sort.by("price").ascending());
        for (Item item:list){ 
            System.out.println(item);
        }
    }

自定义查询1(在ItemRepository中):

Spring Data 的另一个强大功能，是根据方法名称自动实现功能。
    
    比如：你的方法名叫做：findByTitle，那么它就知道你是根据title查询，然后自动帮你完成，无需写实现类。

当然，方法名称要符合一定的约定：

<table> 
 <thead> 
  <tr> 
   <th>Keyword</th> 
   <th>Sample</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>And</code></td> 
   <td>`findByTitleAndPrice``findBy属性名1And属性名2</td> 
  </tr> 
  <tr> 
   <td><code>Or</code></td> 
   <td><code>findByTitleOrPrice</code></td> 
  </tr> 
  <tr> 
   <td><code>Is</code>=</td> 
   <td><code>findByTitle</code></td> 
  </tr> 
  <tr> 
   <td><code>Not</code></td> 
   <td><code>findByTitleNot</code></td> 
  </tr> 
  <tr> 
   <td><code>Between</code></td> 
   <td><code>findByPriceBetween</code></td> 
  </tr> 
  <tr> 
   <td><code>LessThanEqual</code></td> 
   <td><code>findByPriceLessThan</code></td> 
  </tr> 
  <tr> 
   <td><code>GreaterThanEqual</code></td> 
   <td><code>findByPriceGreaterThan</code></td> 
  </tr> 
  <tr> 
   <td><code>Before</code></td> 
   <td><code>findByPriceBefore</code></td> 
  </tr> 
  <tr> 
   <td><code>After</code></td> 
   <td><code>findByPriceAfter</code></td> 
  </tr> 
  <tr> 
   <td><code>Like</code></td> 
   <td><code>findByNameLike</code></td> 
  </tr> 
  <tr> 
   <td><code>StartingWith</code></td> 
   <td><code>findByNameStartingWith</code></td> 
  </tr> 
  <tr> 
   <td><code>EndingWith</code></td> 
   <td><code>findByNameEndingWith</code></td> 
  </tr> 
  <tr> 
   <td><code>Contains/Containing</code></td> 
   <td><code>findByNameContaining</code></td> 
  </tr> 
  <tr> 
   <td><code>In</code></td> 
   <td><code>findByNameIn(Collection&lt;String&gt;names)</code></td> 
  </tr> 
  <tr> 
   <td><code>NotIn</code></td> 
   <td><code>findByNameNotIn(Collection&lt;String&gt;names)</code></td> 
  </tr> 
  <tr> 
   <td><code>Near</code></td> 
   <td><code>findByStoreNear</code></td> 
  </tr> 
  <tr> 
   <td><code>True</code></td> 
   <td><code>findByAvailableTrue</code></td> 
  </tr> 
  <tr> 
   <td><code>False</code></td> 
   <td><code>findByAvailableFalse</code></td> 
  </tr> 
  <tr> 
   <td><code>OrderBy</code></td> 
   <td><code>findByAvailableTrueOrderByNameDesc</code></td> 
  </tr> 
 </tbody> 
</table>

###### 例如:根据价格区间查询 ######

定义:   List<Item> findByPriceBetween(double price1, double price2);
    
    使用:   List<Item> list = this.itemRepository.findByPriceBetween(2000.00, 3500.00);

自定义查询2(在ItemRepository中):

matchQuery	:词条匹配	/(分词)
    TermQuery		:词条匹配	/(不分词)
    wildcardQuery	:通配符匹配
    fuzzyQuery	:模糊匹配
    booleanQuery	:布尔匹配
    	1．MUST和MUST：交集。 
    	2．MUST和MUST_NOT：表示查询结果中不能包含MUST_NOT所对应得查询子句的检索结果。 
    	3．SHOULD与MUST_NOT：连用时，功能同MUST和MUST_NOT。 
    	4．SHOULD与MUST连用时，结果为MUST子句的检索结果,但是SHOULD可影响排序。 
    	5．SHOULD与SHOULD：并集。 
    	6．MUST_NOT和MUST_NOT：无意义，检索无结果。
    NativeSearchQueryBuilder	:Spring提供的一个查询条件构建器，帮助构建json格式的请求体

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70]: /images/20220403/ff124f3e9fd84d4c8937338a44a76b23.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_1_color_FFFFFF_t_70]: /images/20220403/6b9e33316be44a8a9bc7cb3cabec33f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 1]: /images/20220403/daf5b3c0c8a44f4f9e702e4a7a04e4de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_1_color_FFFFFF_t_70 1]: /images/20220403/f7abd0ee3e7e4f68ba029a9df2c6a69e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 2]: /images/20220403/41c95dbb7a0d4dbd822d262ff5c81ebe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 3]: /images/20220403/df9e8e185458472b861e5a3cfa5cc582.png
[20181223230539273.png]: /images/20220403/ef0414dd9abc4325ac9df514f80cb110.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 4]: /images/20220403/d8f59d39d0cc4d38b8457fee3f4cd78f.png
[https_github.com_mobz_elasticsearch-head]: https://github.com/mobz/elasticsearch-head
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 5]: /images/20220403/99f506362ef843caa01deab61265796a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 6]: /images/20220403/cef74f1f7ff0430dba161f5994e2a06c.png
[20181223230751907.png]: /images/20220403/772ca241fd764ec9bf6ee3745a3ca162.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 7]: /images/20220403/2a2ad4b1845148ab958159298b5bcd0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 8]: /images/20220403/0f4f2cd4c44843ddb3fcc8fef32c750b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 9]: /images/20220403/0785fe8bba534d10b7410c1a4a27b8d3.png
[20181223231012736.png]: /images/20220403/f73a470bf13541cbb64bb30d2e588548.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQyMzM4OTYy_size_16_color_FFFFFF_t_70 10]: /images/20220403/865b0f8e9107419a85dc384573569320.png