Elasticsearch 概述

以你之姓@ 2024-03-23 15:59 70阅读 0赞

#### Elasticsearch ####

*  Elasticsearch 概述
 *   *  Elasticsearch下载
     *  什么是Elasticsearch
     *  为什么需要Elasticsearch
     *  数据库索引简介
     *  Elasticsearch运行原理
     *  Elasticsearch的启动
     *  ik分词插件的种类
     *  使用ES操作数据
     *  SpringBoot 操作 Elasticsearch
     *   *  Spring Data简介
         *  创建和ES关联的实体类
         *  创建操作ES的持久层
         *  测试ES
     *  SpringData自定义查询
     *   *  单条件查询
         *  多条件查询
         *  排序查询
         *  分页查询

## Elasticsearch 概述 ##

### Elasticsearch下载 ###

http://doc.vrd.net.cn/

![在这里插入图片描述][277fb59edb9e489d9549dd0dc65e1814.png]

官方下载链接

https://www.elastic.co/cn/downloads/past-releases\#elasticsearch

### 什么是Elasticsearch ###

elastic:富有弹性的

search:搜索

我们可以把它简称为ES,但是搜索它的资料时(例如百度)还是使用Elasticsearch进行搜索更准确

**这个软件不再是SpringCloud提供的,它也不针对微服务环境的项目来开发**

Elasticsearch和redis\\mysql一样,不仅服务于java语言,其它语言也可以使用

它的功能也类似一个数据库,能高效的从大量数据中搜索匹配指定关键字的内容

它也将数据保存在硬盘中

这样的软件有一个名称全文搜索引擎

它本质就是一个java项目,使用它进行数据的增删改查就是访问这个项目的控制器方法(url路径)

ES的底层技术

ES使用了java的一套名为Lucene的API

这个API提供了全文搜索引擎核心操作的接口,相当于搜索引擎的核心支持,ES是在Lucene的基础上进行了完善,实现了开箱即用的搜索引擎软件

市面上和ES功能类似的软件有

Solr/MongoDB

### 为什么需要Elasticsearch ###

数据库进行模糊查询效率严重低下

所有关系型数据库都有这个缺点(mysql\\mariaDB\\oracle\\DB2等)

在执行类似下面模糊查询时

select * from spu where spu_name like '%鼠标%'

测试证明一张千万级别的数据表进行模糊查询需要20秒以上

当前互联网项目要求"三高"的需求下,这样的效率肯定不能接受

Elasticsearch主要是为了解决数据库模糊查询性能低下问题的

ES进行优化之后,从同样数据量的ES中查询相同条件数据,效率能够提高100倍以上

### 数据库索引简介 ###

所谓的索引(index)其实就是数据目录

通常情况下,索引是为了提高查询效率的

数据库索引分两大类

*  聚集索引
 *  非聚集索引

**聚集索引**就是数据库保存数据的物理顺序依据,默认情况下就是主键id,所以按id查询数据库中的数据效率非常高

**非聚集索引**:如果想在非主键列上添加索引,就是非聚集索引了

例如我们在数据库表中存在一个姓名列,我们为姓名列创建索引

在创建索引时,会根据姓名内容来创建索引

例如"张三" 这个姓名,创建索引后查询效率就会明显提升

如果没有索引,这样的查询就会引起效率最低的"逐行搜索",就是一行一行的查这个数据的姓名是不是张三,效率就会非常低

模糊查询时因为’%鼠标%',使用的是前模糊条件,使用索引必须明确前面的内容是什么,前模糊查询是不能使用索引的,只能是全表的逐行搜索,所以效率非常低

所以当我们项目中设计了根据用户输入关键字进行模糊查询时,需要使用**全文搜索引擎**来优化

**索引面试题**

1.创建的索引会占用硬盘空间

2.创建索引之后,对该表进行增删改操作时,会引起索引的更新,所以效率会降低

3.对数据库进行批量新增时,先删除索引,增加完毕之后再创建

4.不要对数据样本少的列添加索引

5.模糊查询时,查询条件前模糊的情况,是无法启用索引的

6.每次从数据表中查询的数据的比例越高,索引的效果越低

### Elasticsearch运行原理 ###

要想使用ES提高模糊查询效率

首先要将数据库中的数据复制到ES中

在新增数据到ES的过程中,ES可以对指定的列进行分词索引保存在索引库中

形成倒排索引结构

![在这里插入图片描述][f20e4fdd45444e71a83b8aece0963b0d.png]

### Elasticsearch的启动 ###

课程中使用7.6.2的版本

压缩包280M左右,复制到没有中文,没有空格的目录下解压

双击bin\\elasticsearch.bat运行

![在这里插入图片描述][243e984818814ab9baf9756fb2f730b4.png]

双击之后可能会看到下面的dos界面

![在这里插入图片描述][f9c39ac03a584e5eb1d4adc9d88721dd.png]

这个界面不能关闭,一旦关闭ES就停止了

验证ES的运行状态

浏览器输入地址:localhost:9200看到如下内容即可

![在这里插入图片描述][664d921cd10a4b1c9d679e795edf8068.png]

mac系统启动

tar -xvf elasticsearch-7.6.2-darwin-x86_64.tar.gz 
    cd elasticsearch-7.6.2/bin 
    ./elasticsearch

linux:

tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz
    cd elasticsearch-7.6.2/bin
    ./elasticsearch

### ik分词插件的种类 ###

我们安装的ik实际上不只一个分词器

实际上除了ik\_smart之外还有ik\_max\_word

POST http://localhost:9200/_analyze
    Content-Type: application/json
    
    {
        
      "text": "北京举行了冬季奥林匹克运动会",
      "analyzer": "ik_smart"
    }

POST http://localhost:9200/_analyze
    Content-Type: application/json
    
    {
        
      "text": "北京举行了冬季奥林匹克运动会",
      "analyzer": "ik_max_word"
    }

上面的两个分词器运行分词,结果会有非常明显的区别

总结区别如下

**ik\_smart**

*  优点:特征是粗略快速的将文字进行分词,占用空间小,查询速度快
 *  缺点:分词的颗粒度大,可能跳过一些重要分词,导致查询结果不全面,查全率低

**ik\_max\_word**

*  优点:特征是详细的文字片段进行分词,查询时查全率高,不容易遗漏数据
 *  缺点:因为分词太过详细,导致有一些无用分词,占用空间较大,查询速度慢

### 使用ES操作数据 ###

ES是一个数据库性质的软件

可以执行增删改查操作,只是他操作数据不使用sql,数据的结构和关系型数据库也不同

我们先了解一下ES保存数据的结构

![在这里插入图片描述][b40dae9d90ef4d2da6f92c547d2d3cb8.png]

*  ES启动后,ES服务可以创建多个index(索引),index可以理解为数据库中表的概念
 *  一个index可以创建多个保存数据的document(文档),一个document理解为数据库中的一行数据
 *  一个document中可以保存多个属性和属性值,对应数据库中的字段(列)和字段值

项目csmall-finish项目中

node文件夹下共享了ES文档,命令都在里面,可以测试

所有的代码都在"ES文档"中, 笔记略

下面我们要学习使用java代码来操作ES

### SpringBoot 操作 Elasticsearch ###

#### Spring Data简介 ####

原生状态下,我们使用JDBC连接数据库,因为代码过于繁琐,所以改为使用Mybatis框架

在ES的原生状态下,我们java代码需要使用socket访问ES,但是也是过于繁琐,我们可以使用SpringData框架简化

Spring Data是Spring提供的一套连接各种第三方数据源的框架集

我们需要使用的是其中连接ES的Spring Data Elasticseatrch

官方网站:https://spring.io/projects/spring-data

![在这里插入图片描述][c9d12aba0b2b4800af6c75e7c822aeba.png]

官网中列出了SpringData支持连接操作的数据源列表

下面我们就按照SpringDataElasticsearch的步骤对ES进行操作

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <parent>
            <groupId>cn.tedu</groupId>
            <artifactId>csmall</artifactId>
            <version>0.0.1-SNAPSHOT</version>
            <relativePath/> 
        </parent>
        <groupId>cn.tedu</groupId>
        <artifactId>search</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>search</name>
        <description>Demo project for Spring Boot</description>
    
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter</artifactId>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
            
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
            </dependency>
        </dependencies>
    
    </project>

application.properties添加配置

# 配置ES的ip和端口
    spring.elasticsearch.rest.uris=http://localhost:9200
    # 设置项目日志门槛
    logging.level.cn.tedu.search=debug
    # 设置SpringDataElasticsearch框架内部另一个能输出运行日志信息类的门槛
    logging.level.org.elasticsearch.client.RestClient=debug

#### 创建和ES关联的实体类 ####

和数据库一样

我们操作ES时也需要一个类似实体类的数据类,作为操作ES的数据载体

search项目创建entity包

在包中创建Item(商品)类

@Data
    @Accessors(chain = true)  // 支持链式set赋值
    @AllArgsConstructor       // 生成包含全部参数的构造方法
    @NoArgsConstructor        // 生成无参的构造方法
    // @Document是SpringDataElasticsearch框架标记一个对应ES实体类的注解
    // indexName属性指定当前实体类对应索引的名称,运行时如果索引不存在,会自动创建这个索引
    @Document(indexName = "items" )
    public class Item implements Serializable {
        
    
        // Spring Data通过@Id注解标记实体类的主键
        @Id
        private Long id;
        // title是要进行分词的字段
        // @Field标记Es中的一个字段
        @Field(type = FieldType.Text,
                analyzer = "ik_max_word",
                searchAnalyzer = "ik_max_word")
        private String title;
        // FieldType.Keyword表示不需要分词的字符串类型
        @Field(type = FieldType.Keyword )
        private String category;
    
        @Field(type = FieldType.Keyword )
        private String brand;
    
        @Field(type = FieldType.Double )
        private Double price;
    
        // imgPath是图片路径,不会成为搜索条件,所以这个字段不需要创建索引
        // index = false就是设置当前字段不创建索引的配置,以节省一定空间
        // 但是imgPath这个字段的值ES还是保存的
        @Field(type = FieldType.Keyword,index = false)
        private String imgPath;
    
        // 我们保存的文件名称一般都是这样的UUID 213acd-1253214-xxxxxxxx.jpg
    
    
    }

#### 创建操作ES的持久层 ####

我们使用SpringData连接ES

需要知道SpringData框架对持久层的命名规则

持久层规范名称为repository(仓库),创建这个包,包中创建接口ItemRepository

// Repository是Spring家族对持久层的命名规范
    @Repository
    public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
        
        
        // ItemRepository接口继承ElasticsearchRepository父接口,这个父接口由SpringData提供
        // ElasticsearchRepository泛型<[要操作的实体类],[这个实体类的主键类型]>
        // 继承之后,当前接口就可以直接使用父接口中声明的方法,包含了Item实体类基本的增删改查
        
    }

#### 测试ES ####

如果没有测试包,创建test测试包

如果没有测试类,创建测试类

编写测试

@SpringBootTest
    class SearchApplicationTests {
        
    
        @Autowired
        private ItemRepository itemRepository;
    
        // 执行单增
        @Test
        void addOne() {
        
            // 实例化Item对象
            Item item=new Item()
                    .setId(1L)
                    .setTitle("罗技激光无线游戏鼠标")
                    .setCategory("鼠标")
                    .setBrand("罗技")
                    .setPrice(168.0)
                    .setImgPath("/1.jpg");
            // 利用Spring Data Elasticsearch框架提供的新增方法,完成新增到ES
            itemRepository.save(item);
            System.out.println("ok");
        }
    
        // 单查
        @Test
        void getOne(){
        
    
            // SpringData提供了按id查询ES中数据的方法
            // 返回值是Optional类型,并且定义了泛型,我们将Optional理解为一个只能保存一个元素的List即可
            Optional<Item> optional = itemRepository.findById(1L);
            // 从Optional中获取其中的元素
            Item item=optional.get();
            System.out.println(item);
    
        }
    
        // 批量增
        @Test
        void addList(){
        
            // 实例化一个List,把要保存到ES中的对象都添加到这个集合中
            List<Item> list=new ArrayList<>();
            list.add(new Item(2L,"罗技激光有线办公鼠标","鼠标",
                                "罗技",88.0,"/2.jpg"));
            list.add(new Item(3L,"雷蛇机械无线游戏键盘","键盘",
                                "雷蛇",268.0,"/3.jpg"));
            list.add(new Item(4L,"微软有线静音办公鼠标","鼠标",
                                 "微软",166.0,"/4.jpg"));
            list.add(new Item(5L,"罗技机械有线背光键盘","键盘",
                                "罗技",208.0,"/5.jpg"));
            itemRepository.saveAll(list);
            System.out.println("ok");
        }
    
        // 全查
        @Test
        void getAll(){
        
            // findAll就是SpringData提供的从指定索引中全查所有数据的方法
            Iterable<Item> items = itemRepository.findAll();
            //List<Item> items = (List<Item>) itemRepository.findAll();
            for(Item item : items){
        
                System.out.println(item);
            }
            System.out.println("-------------------------------------------");
            items.forEach(item -> System.out.println(item));
        }
    }

### SpringData自定义查询 ###

SpringData框架提供的基本增删改查方法并不能完全满足我们的业务需要

如果是针对当前Es数据,进行个性化的自定义查询,那还是需要自己编写查询代码

就像我们要实现根据关键词查询商品信息一样,完成类似数据库中的模糊查询.

#### 单条件查询 ####

我们查询需求为输出所有数据中title属性包含"游戏"这个分词的商品信息

参考数据库中模糊查询

select * from item where title like '%游戏%'

我们使用SpringDataES进行查询,本质上还是相当于ES文档中执行的查询语句

在SpringData框架下,ItemRepository接口中实现更加简单

// SpringData自定义查询
    // 我们可以编写一个符合SpringData框架要求格式的方法名
    // SpringData会根据我们定义的方法名称推测出我们的意图,自动生成能够完成这个操作的查询语句
    // query(查询):表示当前方法是一个进行查询操作的方法,类似数据库中的select
    // Item/Items:表单要查询的实体,如果可能返回集合应该在类型后加s
    // By(通过/根据):表单查询条件开始的关键字,类似sql中的where
    // Title:是要查询的字段,只能是Item类中存在的字段
    // Matches(匹配):如果不写,会自动添加,意思是匹配参数中给的内容,类似sql中的like
    Iterable<Item> queryItemsByTitleMatches(String title);

下面可以开始在测试类中进行测试查询

// 单条件自定义查询
    @Test
    void queryOne(){
        
        // 查询items中,title字段包含"游戏"分词的数据
        Iterable<Item> items=
                itemRepository.queryItemsByTitleMatches("游戏");
        items.forEach(item -> System.out.println(item));
    }

上面代码运行时底层运行的查询语句为:

### 单条件搜索
    POST http://localhost:9200/items/_search
    Content-Type: application/json
    
    {
        
      "query": {
        "match": {
         "title":  "游戏" }}
    }

#### 多条件查询 ####

在相对复杂的查询逻辑下

经常使用多个条件来定位查询需要的数据

这样就需要逻辑运算符"and"/“or”

ItemRepository接口中添加多条件的查询方法

目标:title字段包含"游戏" 并且 brand字段是"罗技"的数据

// 多条件自定义查询
    // 多个条件之间要使用And或Or进行分隔,表示多个条件间的逻辑关系
    // 我们要使用title和brand字段进行多条件查询
    // 参数的数量和需要的数量要匹配
    // 参数赋值到需要参数的位置是根据顺序依次赋值的,和参数名称无关
    List<Item> queryItemsByTitleMatchesAndBrandMatches(String title, String brand);

测试代码如下

// 多条件查询
    @Test
    void queryTwo(){
        
        List<Item> items=itemRepository
                .queryItemsByTitleMatchesAndBrandMatches("游戏","罗技");
        items.forEach(item -> System.out.println(item));
    }

底层运行的请求

### 多字段搜索
    POST http://localhost:9200/items/_search
    Content-Type: application/json
    
    {
        
      "query": {
        
        "bool": {
        
          "must": [
            {
         "match": {
         "title": "游戏"}},
            {
         "match": {
         "brand": "罗技"}}
          ]
        }
      }
    }

当查询条件关系为And时,查询语句关键字为must

当查询条件关系为Or时,查询语句关键字为should

#### 排序查询 ####

默认情况下从ES中查询获得的数据排序依据是ES查询得出的相关性分数(score)

但是如果想改变这个排序就需要在查询方法上添加新的关键字

在ItemRepository接口添加具备排序功能的查询方法

// 排序查询
    // 在方法最后添加OrderBy关键字,然后指定排序依据的字段,最后设置升序(Asc\默认)降序(Desc)
    List<Item> queryItemsByTitleMatchesOrBrandMatchesOrderByPriceDesc(
                                                    String title, String brand);

测试代码如下

// 排序查询
    @Test
    void queryOrder(){
        
        // 查询title分词包含"游戏"或brand是"罗技"的数据,价格降序排序
        List<Item> items=itemRepository
                .queryItemsByTitleMatchesOrBrandMatchesOrderByPriceDesc(
                        "游戏","罗技");
    
        items.forEach(item -> System.out.println(item));
    
    }

底层运行的代码

### 多字段搜索
    POST http://localhost:9200/items/_search
    Content-Type: application/json
    
    {
        
      "query": {
        
        "bool": {
        
          "should": [
            {
         "match": {
         "title": "游戏"}},
            {
         "match": {
         "brand": "罗技"}}
          ]
        }
      },"sort":[{
        "price":"desc"}]
    }

#### 分页查询 ####

SpringData框架支持完成分页查询

需要在ItemRepository接口中修改方法的参数和返回值就可以实现

// 分页查询
    // 要执行分页查询,首先要将返回值修改为Page类型
    // Page类型的功能是既能保存查询出的当前页数据,又能保存分页信息
    // 分页信息就是本次查询结果中分页相关的数据,例如:当前页码,每页条数,总页数,总条数,有没有上一页...等
    // 参数方面,在当前所有已经存在的参数最后,再添加一个Pageable类型的参数
    // 在调用时,为这个pageable参数赋值要查询的页码和每页的条数
    Page<Item> queryItemsByTitleMatchesOrBrandMatchesOrderByPriceDesc(
            String title, String brand, Pageable pageable);

测试代码

// 分页查询
    @Test
    void  queryPage(){
        
        int page=1;       // 要查询的页码
        int pageSize=2;   // 设置每页条数
    	// PageRequest.of是设置查询页码和每页条数的代码,但是
        // SpringData规定数字0开始为第一页,所以当前page为1,想第一页时,要page-1才行
        Page<Item> myPage=itemRepository
                .queryItemsByTitleMatchesOrBrandMatchesOrderByPriceDesc(
                        "游戏","罗技", PageRequest.of(page-1,pageSize));
        myPage.forEach(item -> System.out.println(item));
    
        // myPage对象包含了分页信息,输出分页信息演示
        System.out.println("总页数:"+myPage.getTotalPages());
        System.out.println("总条数:"+myPage.getTotalElements());
        System.out.println("当前页:"+(myPage.getNumber()+1));
        System.out.println("每页条数:"+myPage.getSize());
        System.out.println("是否为首页:"+myPage.isFirst());
        System.out.println("是否为末页:"+myPage.isLast());
    
    }

[277fb59edb9e489d9549dd0dc65e1814.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/4fb62cfe76d44bcea1d8f30fc25d91d7.png
[f20e4fdd45444e71a83b8aece0963b0d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/7d7fa4c185ab43ccb4fdfd161c0e3c8d.png
[243e984818814ab9baf9756fb2f730b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/c4e1db885c6e414faf2358d461f6e857.png
[f9c39ac03a584e5eb1d4adc9d88721dd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/259833f4e2d94600a015cceb3d0ab219.png
[664d921cd10a4b1c9d679e795edf8068.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/92457944dcca4f388fbab8f65c6b6c0a.png
[b40dae9d90ef4d2da6f92c547d2d3cb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/a3013c7d3e0943c0aa5ec7c5869a1d2f.png
[c9d12aba0b2b4800af6c75e7c822aeba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/aa265a76b93d4ecaa90d6468e32b6ad9.png