ElasticSearch入门二（安装IK分词器）

淩亂°似流年 2023-02-19 02:25 57阅读 0赞

### 文章目录 ###

*   *  分词器
     *  安装 IK Analysis
     *  测试
     *  ik配置文件说明
     *  自定义词库
     *  热更新
     *  使用

## 分词器 ##

在我们match查询的时候，ElasticSearch会默认给我们创建通过分词器创建倒排索引，ElasticSearch 默认分词器是standard分词器，我们来看看对英文的分词效果

# 分词查看语法
    GET /_analyze
    { 
      "analyzer": "分词器", 
      "text": "分词语句"
    }

![在这里插入图片描述][20200618212716448.png]  
可以看到基本是以单词作为拆分，如果是中文呢。来看看效果  
![在这里插入图片描述][20200618212824281.png]  
可以看到基本不会分词，而我们大多数存的都是中文，如何添加中文分词器呢

主流的就是 IK Analysis分词器  
ik分词器分为两种：

*  ik\_max\_word: 会将文本做最细粒度的拆分  
    比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；
 *  ik\_smart: 会做最粗粒度的拆分  
    比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

## 安装 IK Analysis ##

github下载地址  
https://github.com/medcl/elasticsearch-analysis-ik  
![在这里插入图片描述][20200618213103859.png]

下载与自己es想对应的版本分词器即可  
![在这里插入图片描述][20200618213511896.png]  
然后解压编译  
进入解压目录 elasticsearch-analysis-ik-master  
执行打包命令

mvn clean package -U -DskipTests

等待编译完成后，在target/release目录下会生产名为elasticsearch-analysis-ik-7.4.0.zip的文件，如下所示：  
![在这里插入图片描述][20200618215601896.png]  
然后将 elasticsearch-analysis-ik-7.4.0.zip 文件解压  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNjUxOTA0_size_16_color_FFFFFF_t_70]  
在 elasticsearch-7.7.1\\plugins 中 创建 ik分词器将这些文件copy过去  
![在这里插入图片描述][20200618215658655.png]

重启 elasticsearch，失败，报错，查看日志

![在这里插入图片描述][20200618215740164.png]

ik编译出来的版本不支持ElasticSearch 7.7.1，修改下IK的配置文件就好了  
![在这里插入图片描述][20200618225941564.png]

![在这里插入图片描述][20200618230015724.png]

![在这里插入图片描述][20200618220054154.png]

重启 ElasticSearch

## 测试 ##

![在这里插入图片描述][20200618230218265.png]  
![在这里插入图片描述][20200618230243384.png]

es分词大致安装就是如此吧对

## ik配置文件说明 ##

![在这里插入图片描述][20200618220237694.png]

*  main.dic k原生内置的中文词库
 *  quantifier.dic 单位相关的词
 *  surname.dic 中国的姓氏

## 自定义词库 ##

我们重点看一下 IKAnalyzer.cfg.xml 这个配置类，这个类用于配置我们自定义的词库

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
    	 
    	<entry key="ext_stopwords">custom/ext_stopword.dic</entry>
    	
    	
    	
    	
    </properties>

![在这里插入图片描述][20200618220733468.png]

配置分词和停用词后重启 elasticsearch 生效

## 热更新 ##

1.  修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库
2.  基于ik分词器原生支持的热更新方案，部署一个web服务器，提供一个http接口，通过modified和tag两个http响应头，来提供词语的热更新

> 这里自行百度不作演示

## 使用 ##

创建索引mapping的时候指定分词器

PUT /my_index 
    { 
      "mappings": { 
        "my_type": { 
          "properties": { 
            "text": { 
              "type": "text",
              "analyzer": "ik_max_word"
            }
          }
        }
      }
    }

[20200618212716448.png]: https://img-blog.csdnimg.cn/20200618212716448.png
[20200618212824281.png]: https://img-blog.csdnimg.cn/20200618212824281.png
[20200618213103859.png]: https://img-blog.csdnimg.cn/20200618213103859.png
[20200618213511896.png]: https://img-blog.csdnimg.cn/20200618213511896.png
[20200618215601896.png]: https://img-blog.csdnimg.cn/20200618215601896.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNjUxOTA0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200618215618667.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNjUxOTA0,size_16,color_FFFFFF,t_70
[20200618215658655.png]: https://img-blog.csdnimg.cn/20200618215658655.png
[20200618215740164.png]: https://img-blog.csdnimg.cn/20200618215740164.png
[20200618225941564.png]: https://img-blog.csdnimg.cn/20200618225941564.png
[20200618230015724.png]: https://img-blog.csdnimg.cn/20200618230015724.png
[20200618220054154.png]: https://img-blog.csdnimg.cn/20200618220054154.png
[20200618230218265.png]: https://img-blog.csdnimg.cn/20200618230218265.png
[20200618230243384.png]: https://img-blog.csdnimg.cn/20200618230243384.png
[20200618220237694.png]: https://img-blog.csdnimg.cn/20200618220237694.png
[20200618220733468.png]: https://img-blog.csdnimg.cn/20200618220733468.png