Elasticsearch安装ik分词插件

た入场券 2022-12-02 15:24 248阅读 0赞

## 前置条件 ##

*   **如果发现问题请留言**  
    如果有发现不正确的地方,欢迎留言指正,感激不尽!
 *   **已安装好Elasticsearch**  
    本次安装插件版本为`7.3.1`,需与elasticsearch版本一致, elasticsearch安装在`/home/elk/elasticsearch-7.3.1`下.如果你想安装一个7.3.1版本的elasticsearch,可以参照[Centos7安装Elasticsearch&Kibana][Centos7_Elasticsearch_Kibana]进行安装
 *   **已安装好kibana**  
    本教程中的kibana安装在`home/elk/kibana-7.3.1-linux-x86_64`下,使用kibana的dev tool执行相关分词验证操作
 *   **已下载好ik分词插件**  
    本次安装插件包为`elasticsearch-analysis-ik-7.3.1.zip`  
    [官方下载地址][Link 1]找到相应版本进行下载
 *   **系统及操作用户等**  
    本次安装操作系统为`Centos7`,用户为`elk`,已经有专门存放软件包的目录`/home/elk/soft` ,本教程中kibana访问地址为`192.168.1.14:5601`

## 插件安装 ##

### 插件上传 ###

通过xftp工具将分词插件包`elasticsearch-analysis-ik-7.3.1.zip`上传到虚拟机的/home/elk/soft目录下

![å¨è¿éæå¥å¾çæè¿°][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70]

### 插件安装 ###

以下命令全部使用`elk`用户操作

# 停止es服务
    jps |grep Elasticsearch|awk {'print $1'}|xargs kill
    # 确认es服务已停止,使用jps找不到Elsaticsearch进程则说明正确停止
    jps |grep Elasticsearch
    # 插件安装,执行以下命令进行安装,在提示时输入y,然后回车
     ~/elasticsearch-7.3.1/bin/elasticsearch-plugin install file:///home/elk/soft/elasticsearch-analysis-ik-7.3.1.zip
     # 查看已安装插件
     ~/elasticsearch-7.3.1/bin/elasticsearch-plugin list

![å¨è¿éæå¥å¾çæè¿°][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70 1]

### 插件配置 ###

ik分词插件自定义词典支持`本地词库`和`远程词库`  
**本地词库**:使用`~/elasticsearch-7.3.1/config/analysis-ik/`目录下的文件作为词典  
**远程词库**:使用`url`指定扩展词典

### 本地词库配置 ###

# 创建一个自定义扩展词文件
    touch ~/elasticsearch-7.3.1/config/analysis-ik/my_extra.dic
    # 创建一个停用词文件
    touch ~/elasticsearch-7.3.1/config/analysis-ik/my_stopword.dic
    # 编辑ik分词器配置文件
    vim ~/elasticsearch-7.3.1/config/analysis-ik/IKAnalyzer.cfg.xml

按照以下内容进行配置

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">my_extra.dic</entry>
             
            <entry key="ext_stopwords">my_stopword.dic</entry>
    </properties>

上面的配置指定了一个自定义词典文件`my_extra.dic`,一个自定义停用词文件`my_stopword.dic`

### 插件测试 ###

# 启动es
    ~/elasticsearch-7.3.1/bin/elasticsearch -d
    # 启动kibana 此种方式启动会有相关日志输出
    ~/kibana-7.3.1-linux-x86_64/bin/kibana &

访问kibana地址`192.168.1.14:5601`并点击主页面中的开发工具图标

![å¨è¿éæå¥å¾çæè¿°][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70 2]

### 默认分词测试 ###

测试仅针对本地词库进行了测试,远程词库测试与本地词库测试基本一致,只是不需要重启es.

在开发工具左边执行以下命令

GET _analyze
    {
      "analyzer": "ik_smart",
      "text": ["ElasticSearch是一个基于Lucene的搜索服务器"]
    }

返回内容如下

{
      "tokens" : [
        {
          "token" : "elasticsearch",
          "start_offset" : 0,
          "end_offset" : 13,
          "type" : "ENGLISH",
          "position" : 0
        },
        {
          "token" : "是",
          "start_offset" : 13,
          "end_offset" : 14,
          "type" : "CN_CHAR",
          "position" : 1
        },
        {
          "token" : "一个",
          "start_offset" : 14,
          "end_offset" : 16,
          "type" : "CN_WORD",
          "position" : 2
        },
        {
          "token" : "基于",
          "start_offset" : 16,
          "end_offset" : 18,
          "type" : "CN_WORD",
          "position" : 3
        },
        {
          "token" : "lucene",
          "start_offset" : 18,
          "end_offset" : 24,
          "type" : "ENGLISH",
          "position" : 4
        },
        {
          "token" : "的",
          "start_offset" : 24,
          "end_offset" : 25,
          "type" : "CN_CHAR",
          "position" : 5
        },
        {
          "token" : "搜索",
          "start_offset" : 25,
          "end_offset" : 27,
          "type" : "CN_WORD",
          "position" : 6
        },
        {
          "token" : "服务器",
          "start_offset" : 27,
          "end_offset" : 30,
          "type" : "CN_WORD",
          "position" : 7
        }
      ]
    }

可见初始分词效果还是不错的.

### 自定义扩展词测试 ###

比如我们希望将`搜索服务器`作为一个词处理,还希望过滤掉`的`这个词

# 添加一个自定义词汇,多个词汇用换行分隔
    echo 搜索服务器 > ~/elasticsearch-7.3.1/config/analysis-ik/my_extra.dic
    # 添加一个自定义停用词,多个用换行分隔
    echo 的 > ~/elasticsearch-7.3.1/config/analysis-ik/my_stopword.dic

![å¨è¿éæå¥å¾çæè¿°][2019090223242868.png]

目前本地词库(本地文件)方式不支持词库热更新需要重启es,才会生效

# 停止es服务
    jps |grep Elasticsearch|awk {'print $1'}|xargs kill
    # 确认es服务已停止,使用jps找不到Elsaticsearch进程则说明正确停止
    jps |grep Elasticsearch
    # 启动es
    ~/elasticsearch-7.3.1/bin/elasticsearch -d

在开发工具中再次执行以下命令

GET _analyze
    {
      "analyzer": "ik_smart",
      "text": ["ElasticSearch是一个基于Lucene的搜索服务器"]
    }

返回内容如下

[Centos7_Elasticsearch_Kibana]: https://blog.csdn.net/huanqingdong/article/details/100186698
[Link 1]: https://github.com/medcl/elasticsearch-analysis-ik/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70]: /images/20221123/9e416435347f4f89a8caec436a808d6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70 1]: /images/20221123/f89fe8961c954c998dca557866042e2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5xaW5nZG9uZw_size_16_color_FFFFFF_t_70 2]: /images/20221123/46adfeeeadd040be84ef8d5c2cac1304.png
[2019090223242868.png]: /images/20221123/f738389d0bc64422afd8c6cd33f19620.png