【ElasticSearch】二、IK 分词器部署和使用

迈不过友情╰ 2023-02-14 13:26 14阅读 0赞

**目录**

一、IK 分词器介绍

二、IK 分词器安装和使用

2.1 IK 分词器安装

2.2 IK 分词器测试

2.2.1 ik\_smart 最粗粒度拆分

2.2.2 ik\_max\_word 最细粒度拆分

2.3 自定义分词

2.4 定义敏感词禁用

--------------------

# 一、IK 分词器介绍 #

ElasticSearch 自带有分词器，但在中文方面分词效果并不理想，这时候就需要使用 IK 分词器对中文语句进行更好的分段。

# 二、IK 分词器安装和使用 #

## 2.1 IK 分词器安装 ##

IK分词器下载：

[https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases]

找到与 elasticsearch 版本对应的 ik 分词器版本

将下载的压缩包上传到服务器的对应目录下，解压并改名为 ik

# 解压压缩包
    unzip elasticsearch-analysis-ik-5.6.8.zip
    
    # 重命名
    mv elasticsearch ik

将 ik 目录拷贝到 elasticsearch 容器中的 plugins 目录下

docker cp ./ik tom_elasticsearch:/usr/share/elasticsearch/plugins

## 2.2 IK 分词器测试 ##

### 2.2.1 ik\_smart 最粗粒度拆分 ###

http://192.168.47.142:9200/_analyze?analyzer=ik_smart&pretty=true&text=%E6%88%91%E6%98%AF%E5%A4%A7%E5%85%83%E5%AE%9D

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70][]

### 2.2.2 ik\_max\_word 最细粒度拆分 ###

http://192.168.47.142:9200/_analyze?analyzer=ik_max_word&pretty=true&text=%E6%88%91%E6%98%AF%E5%A4%A7%E5%85%83%E5%AE%9D

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 1][]

## 2.3 自定义分词 ##

# 进入 elasticsearch 容器
    docker exec -it tom_elasticsearch /bin/bash
    
    # 进入配置文件目录
    cd /usr/share/elasticsearch/plugins/ik/config

创建自定义文件

# 创建自定义文件
    vim myCustom.dic

![20200603110225511.png][]

修改 IK 分词器的配置文件

vim IKAnalyzer.cfg.xml

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 2][]

保存文件并重启 elasticsearch 容器

docker restart tom_elasticsearch

测试：

http://192.168.47.142:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是大元宝

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 3][]

## 2.4 定义敏感词禁用 ##

# 进入 elasticsearch 容器
    docker exec -it tom_elasticsearch /bin/bash
    
    # 进入配置文件目录
    cd /usr/share/elasticsearch/plugins/ik/config

创建自定义文件

# 创建自定义文件
    vim myDisabled.dic

![20200603111022345.png][]

修改 IK 分词器的配置文件

vim IKAnalyzer.cfg.xml

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 4][]

保存文件并重启 elasticsearch 容器

docker restart tom_elasticsearch

测试：

http://192.168.47.142:9200/_analyze?analyzer=ik_smart&pretty=true&text=宇宙

![20200603111432339.png][]

[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200603105804156.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200603105935397.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx,size_16,color_FFFFFF,t_70
[20200603110225511.png]: https://img-blog.csdnimg.cn/20200603110225511.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200603110628681.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200603110830783.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx,size_16,color_FFFFFF,t_70
[20200603111022345.png]: https://img-blog.csdnimg.cn/20200603111022345.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200603111226537.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx,size_16,color_FFFFFF,t_70
[20200603111432339.png]: https://img-blog.csdnimg.cn/20200603111432339.png