elastic search ik 词库热更新

拼搏现实的明天。 2023-02-21 09:08 23阅读 0赞

# 实现 elastic search ik 词库热更新，修改后发送钉钉提醒 #

ik 是 elastic search 一个常用的分词插件，自带了一些中文得词库，但在特定领域，这些词库远远不能满足我们的名称，比如有些词语：品牌名称、游戏人物名称、剧情名称、产品种类等，在特定领域时我们需要添加一定的领域词语。

## ik配置文件解析 ##

进入 ik 插件的 config 目录，发现有个文件`IKAnalyzer.cfg.xml`，这个文件就是ik的配置文件，内容如下：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict"></entry>
    	 
    	<entry key="ext_stopwords"></entry>
    	
    	<entry key="remote_ext_dict">http://127.0.0.1:8080/words.dic</entry>
    	
    	<entry key="remote_ext_stopwords">http://127.0.0.1:8080/stop_words.dic</entry>
    </properties>

后面两个配置项，其实是 ik 给我们留的钩子，ik会自动从这两个 url 的响应里保存词库。  
阅读 ik 源码发现，当有这个配置项时，会启动一个线程，每60s请求这两个地址，并根据返回值的更新时间，来决定是否更新扩展词库。

那我们如何用这个实现热更新呢？

## 利用 nginx 实现词库热更新 ##

我们可以自己写一个web服务，来响应这两个url，当然最简单的便是利用web服务器来实现。  
在 nginx.conf 中加入以下内容

# ik ext
        server { 
            listen 8080;
            root /myfile/ik;
        }

然后在 `/myfile/ik` 文件下建立这两个文件，修改这两个文件，即可实现扩展词库热更新（最大60s延迟）

touch words.dic stop_words.dic

## 利用 git + CICD 实现追踪变化，自动更新 ##

之前我[自己搭建git私服][git]，并[利用gogs搭建了cicd系统][gogs_cicd]，这里便可利用git的管理和cicd实现追踪和热更新，在`.drone.yml`中加入如下

kind: pipeline
    name: default
    
    steps:    
    - name: 复制到 localFileDir
      image: alpine
      volumes:
      - name: localFileDir
        path: /localFileDir
      commands:
      - cp -f stop_words.dic /localFileDir/stop_words.dic
      - cp -f words.dic /localFileDir/words.dic
      
    - name: 钉钉通知
      image: guoxudongdocker/drone-dingtalk
      settings:
        token: yourToken
        type: markdown  
        
    volumes:
    - name: localFileDir
      host:
        path: /myfile/ik
    
    trigger:
      branch:
      - master

## 好处 ##

*  可以在线以页面的方式热更新词库
 *  可以分配多个管理者一起维护词库
 *  可以通过git来追踪词库的变化
 *  修改后发送钉钉提醒

[git]: https://blog.csdn.net/qq_35425070/article/details/106799285
[gogs_cicd]: https://blog.csdn.net/qq_35425070/article/details/106799072