Elasticsearch 5.5.1 中文/拼音分词亲测有效

缺乏、安全感 2022-05-24 05:43 234阅读 0赞

> 所有不说明elastic 版本的博客都是耍流氓 。 ——某码农

[原文链接][Link 1]

版本如题。拼音和中文分词一起的整个测试流程如下：

### 预备 删除 index ###

DELETE /index_name/
    {
    }

### 创建一个 index\_name 的 index ###

PUT /index_name/
    {
        "index": {
            "analysis": {
                "analyzer": {
                    "ik_pinyin_analyzer": {
                        "type": "custom",
                        "tokenizer": "ik_max_word",
                        "filter": ["my_pinyin", "word_delimiter"]
                    }
                },
                "filter": {
                    "my_pinyin": {
                        "type": "pinyin",
                        "first_letter": "prefix",
                        "padding_char": " "
                    }
                }
            }
        }
    }

### 修改 type 的 mapping ###

PUT /index_name/app/_mapping
    {
        "app": {
            "properties": {
                "ProductCName": {
                    "type": "keyword",
                    "fields": {
                        "pinyin": {
                            "type": "text",
                            "store": false,
                            "term_vector": "with_positions_offsets",
                            "analyzer": "ik_pinyin_analyzer",
                            "boost": 10
                        }
                    }
                },
                "ProductEName":{  
                    "type":"text",  
                    "analyzer": "ik_max_word"  
                },
                "Description":{  
                    "type":"text",  
                    "analyzer": "ik_max_word"  
                }
            }
        }
    }

### 创建测试数据 ###

PUT /index_name/app/1
    {
      "ProductCName":"口红世家",
      "ProductEName":"Red History",
      "Description":"口红真是很棒的东西呢"
    }

### 测试拼音分词效果 ###

POST /index_name/_analyze?pretty
    {
      "analyzer": "pinyin",
      "text":"王者荣耀"
    }
    
    {
      "tokens": [
        {
          "token": "wang",
          "start_offset": 0,
          "end_offset": 1,
          "type": "word",
          "position": 0
        },
        {
          "token": "wzry",
          "start_offset": 0,
          "end_offset": 4,
          "type": "word",
          "position": 0
        },
        {
          "token": "zhe",
          "start_offset": 1,
          "end_offset": 2,
          "type": "word",
          "position": 1
        },
        {
          "token": "rong",
          "start_offset": 2,
          "end_offset": 3,
          "type": "word",
          "position": 2
        },
        {
          "token": "yao",
          "start_offset": 3,
          "end_offset": 4,
          "type": "word",
          "position": 3
        }
      ]
    }

### 测试分词 ###

![这里写图片描述][70]

## 搜索数据 ##

### 拼音搜索 ###

![这里写图片描述][70 1]

## 在做分词时遇到的问题 ##

### 问题和解决 ###

配置完成之后发现分词不生效，查看 `elastcsearch` 启动日志发现 如下错误：  
![这里写图片描述][70 2]

去看下 `Ik` 的配置文件发现：  
![这里写图片描述][70 3]

修改 路径 和 `xml` 结构 错误之后，重新加载了配置文件：  
![这里写图片描述][70 4]

### 停止词/分词效果 ###

查看口红的 的搜索效果。发现搜索到了 含有 `红` 这个字的结果  
![这里写图片描述][70 5]

查看 `口红` 的 分析器结果，发现 `口红` 被 `过多` 的分词了  
![这里写图片描述][70 6]

修改 `ik.stop.txt` 添加 “口” 和 “红”  
![这里写图片描述][70 7]

`elastic` 重新加载了 `ik` 分词配置文件  
![这里写图片描述][70 8]

再次查看分析器效果，再去搜索 口红的 ，已经搜不到 `口` 和 `红` 的对应结果了  
![这里写图片描述][70 9]

再比如：`马卡龙` 会被 拆分成 `马` `卡` `龙` ，添加 `ik.txt` 就可以让分析器按自己的词语来拆分  
![这里写图片描述][70 10]

[Link 1]: https://www.leon0204.com/article/141.html
[70]: /images/20220524/939d26989f1a4d308a5e347e990726a8.png
[70 1]: /images/20220524/60395ac461fa4954b73de1a474119f1b.png
[70 2]: /images/20220524/e454f0f407c94e7688502c8e7c25de04.png
[70 3]: /images/20220524/ffb8b13be2174d23b5d08ceaceeaa14b.png
[70 4]: /images/20220524/ef7ccbd073f14a5485865324ae2fc5c0.png
[70 5]: /images/20220524/ced00591292d4358ac50b60662f6adf2.png
[70 6]: /images/20220524/519770a7c8f2434c90dcbe90015fb483.png
[70 7]: /images/20220524/ec0f29fecd65408ca79eb37bbc52e412.png
[70 8]: /images/20220524/9924967d67494cdf98c1e9833815d036.png
[70 9]: /images/20220524/37c12c334ec449d5bd4137541e5eb9eb.png
[70 10]: /images/20220524/66f8507ce51a4c9ebc0f098ef7cf13a4.png